Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
План на курса
Въведение
- Apache Beam срещу MapReduce, Spark Streaming, Kafka Streaming, Storm и Flink
Инсталиране и конфигуриране Apache Beam
Преглед на Apache Beam функции и архитектура
- Beam Model, SDKs, Beam Pipeline Runners
- Бекенд за разпределена обработка
Разбиране на модела Apache Beam Programming.
- Как се изпълнява тръбопровод
Изпълнение на примерен конвейер
- Подготовка на конвейер WordCount
- Локално изпълнение на тръбопровода
Проектиране на тръбопровод
- Планиране на структурата, избор на трансформации и определяне на входните и изходните методи
Създаване на тръбопровода
- Писане на драйверната програма и дефиниране на конвейера
- Използване на Apache Beam класове
- Набори от данни, трансформации, I/O, кодиране на данни и др.
Изпълнение на тръбопровода
- Изпълнение на тръбопровода локално, на отдалечени машини и в публичен облак
- Избор на бегач
- Конфигурации, специфични за бегача
Тестване и отстраняване на грешки Apache Beam
- Използване на съвети за тип за емулиране на статично въвеждане
- Управление на Python зависимости от тръбопроводи
Обработка на ограничени и неограничени набори от данни
- Прозорци и тригери
Направете вашите тръбопроводи годни за многократна употреба и поддръжка
Създайте нови източници на данни и приемници
- Apache Beam API за източник и приемник
Интегриране на Apache Beam с други Big Data системи
- Apache Hadoop, Apache Spark, Apache Kafka
Отстраняване на неизправности
Обобщение и заключение
Изисквания
- Опит с Python Programming.
- Опит с командния ред Linux.
Публика
- Разработчици
14 Часа
