Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
План на курса
Резюме на Apache Airflow Основи
- Основни концепции: DAG, оператори и поток на изпълнение
- Архитектура и компоненти на въздушния поток
- Разбиране на разширени случаи и работни процеси
Създаване на персонализирани оператори
- Разбиране на анатомията на оператора на Airflow
- Разработване на персонализирани оператори за специфични задачи
- Тестване и отстраняване на грешки в потребителски оператори
Персонализирани куки и сензори
- Внедряване на кукички за външна системна интеграция
- Създаване на сензори за наблюдение на външни тригери
- Подобряване на интерактивността на работния процес с персонализирани сензори
Разработване на плъгини за въздушен поток
- Разбиране на архитектурата на плъгина
- Проектиране на добавки за разширяване на функционалността на Airflow
- Най-добри практики за управление и внедряване на добавки
Интегриране на въздушния поток с външни системи
- Свързване на Airflow с бази данни, API и облачни услуги
- Използване на Airflow за ETL работни потоци и обработка на данни в реално време
- Управление на зависимостите между Airflow и външни системи
Разширено отстраняване на грешки и наблюдение
- Използване на регистрационни файлове и показатели на Airflow за отстраняване на неизправности
- Конфигуриране на предупреждения и известия за проблеми с работния процес
- Използване на външни инструменти за наблюдение с Airflow
Оптимизиране на производителността и Scalaспособността
- Мащабиране на въздушния поток с целина и Kubernetes екзекутори
- Оптимизиране на използването на ресурсите в сложни работни процеси
- Стратегии за висока наличност и толерантност към грешки
Казуси и приложения в реалния свят
- Проучване на усъвършенствани случаи на употреба в инженерството на данни и DevOps
- Казус от практиката: Имплементация на потребителски оператор за широкомащабни ETL
- Най-добри практики за управление на работни процеси на ниво предприятие
Обобщение и следващи стъпки
Изисквания
- Силно разбиране на Apache Airflow основите, включително DAG, оператори и архитектура за изпълнение
- Владеене на Python програмиране
- Опит с интегриране на системи за данни и оркестрация на работния процес
Публика
- Инженери по данни
- DevOps инженери
- Софтуерни архитекти
21 Часа