План на курса

Резюме на Apache Airflow Основи

  • Основни концепции: DAG, оператори и поток на изпълнение
  • Архитектура и компоненти на въздушния поток
  • Разбиране на разширени случаи и работни процеси

Създаване на персонализирани оператори

  • Разбиране на анатомията на оператора на Airflow
  • Разработване на персонализирани оператори за специфични задачи
  • Тестване и отстраняване на грешки в потребителски оператори

Персонализирани куки и сензори

  • Внедряване на кукички за външна системна интеграция
  • Създаване на сензори за наблюдение на външни тригери
  • Подобряване на интерактивността на работния процес с персонализирани сензори

Разработване на плъгини за въздушен поток

  • Разбиране на архитектурата на плъгина
  • Проектиране на добавки за разширяване на функционалността на Airflow
  • Най-добри практики за управление и внедряване на добавки

Интегриране на въздушния поток с външни системи

  • Свързване на Airflow с бази данни, API и облачни услуги
  • Използване на Airflow за ETL работни потоци и обработка на данни в реално време
  • Управление на зависимостите между Airflow и външни системи

Разширено отстраняване на грешки и наблюдение

  • Използване на регистрационни файлове и показатели на Airflow за отстраняване на неизправности
  • Конфигуриране на предупреждения и известия за проблеми с работния процес
  • Използване на външни инструменти за наблюдение с Airflow

Оптимизиране на производителността и Scalaспособността

  • Мащабиране на въздушния поток с целина и Kubernetes екзекутори
  • Оптимизиране на използването на ресурсите в сложни работни процеси
  • Стратегии за висока наличност и толерантност към грешки

Казуси и приложения в реалния свят

  • Проучване на усъвършенствани случаи на употреба в инженерството на данни и DevOps
  • Казус от практиката: Имплементация на потребителски оператор за широкомащабни ETL
  • Най-добри практики за управление на работни процеси на ниво предприятие

Обобщение и следващи стъпки

Изисквания

  • Силно разбиране на Apache Airflow основите, включително DAG, оператори и архитектура за изпълнение
  • Владеене на Python програмиране
  • Опит с интегриране на системи за данни и оркестрация на работния процес

Публика

  • Инженери по данни
  • DevOps инженери
  • Софтуерни архитекти
 21 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории