Курс за обучение по Stream Processing with Kafka Streams

Това водено от инструктор обучение на живо в България (онлайн или на място) е насочено към разработчици, които желаят да интегрират Apache Kafka със съществуващи бази данни и приложения за обработка, анализ и т.н.

До края на това обучение участниците ще могат:

• Използвайте Kafka Connect, за да поемете големи количества данни от база данни в теми на Kafka.
• Поглъщане на регистрационни данни, генерирани от сървъри на приложения, в темите на Kafka.
• Направете всички събрани данни достъпни за поточно обработване.
• Експортирайте данни от темите на Kafka във вторични системи за съхранение и анализ.

Apache Beam е унифициран програмен модел с отворен код за дефиниране и изпълнение на паралелни канали за обработка на данни. Силата му се крие в способността му да изпълнява както партидни, така и поточни тръбопроводи, като изпълнението се извършва от един от поддържаните бек-ендове за разпределена обработка на Beam: Apache Apex, Apache Flink, Apache Spark и Google Cloud Dataflow. Apache Beam е полезен за ETL (извличане, трансформиране и зареждане) задачи като преместване на данни между различни носители за съхранение и източници на данни, трансформиране на данни в по-желан формат и зареждане на данни в нова система.

В това обучение на живо, ръководено от инструктор (на място или дистанционно), участниците ще научат как да внедрят Apache Beam SDK в Java или Python приложение, което дефинира тръбопровод за обработка на данни за разлагане на голям набор от данни на по-малки парчета за независима, паралелна обработка.

До края на това обучение участниците ще могат:

• Инсталирайте и конфигурирайте Apache Beam.
• Използвайте един модел за програмиране, за да извършите както пакетна, така и поточна обработка от тяхното Java или Python приложение.
• Изпълнете конвейери в множество среди.

Формат на курса

• Част лекция, част дискусия, упражнения и тежка практическа практика

Забележка

• Този курс ще бъде достъпен Scala в бъдеще. Моля, свържете се с нас, за да уговорим.

Това водено от инструктор обучение на живо (онлайн или на място) е насочено към инженери, които желаят да използват Confluent (дистрибуция на Kafka), за да изградят и управляват платформа за обработка на данни в реално време за своите приложения.

До края на това обучение участниците ще могат:

Инсталирайте и конфигурирайте Confluent Platform. Използвайте инструментите и услугите за управление на Confluent, за да стартирате Kafka по-лесно. Съхранявайте и обработвайте входящи данни от потока. Оптимизирайте и управлявайте Kafka клъстери. Защитени потоци от данни.

Формат на курса

Интерактивна лекция и дискусия. Много упражнения и практика. Практическо внедряване в лабораторна среда на живо.

Опции за персонализиране на курса

Този курс е базиран на версията с отворен код на Confluent: Confluent Open Source. За да поискате персонализирано обучение за този курс, моля свържете се с нас, за да уговорим.

Apache Kafka е разпределена стрийминг платформа. Той де факто е стандарт за изграждане на тръбопроводи за данни и разрешава много различни случаи на употреба около обработката на данни: може да се използва като опашка от съобщения, разпределен журнал, поточен процесор и т.н.

Ще започнем с някаква теория зад тръбопроводите за данни като цяло, след което ще продължим с фундаменталните концепции зад Кафка. Ще открием и важни компоненти като Kafka Streams и Kafka Connect.

Това водено от инструктор обучение на живо в България (онлайн или на място) представя принципите и подходите зад обработката на разпределен поток и пакетна обработка на данни и превежда участниците през създаването на приложение за стрийминг на данни в реално време в Apache Flink.

До края на това обучение участниците ще могат:

• Настройте среда за разработване на приложения за анализ на данни.
• Разберете как работи библиотеката за обработка на графики (Gelly) на Apache Flink.
• Пакетирайте, изпълнявайте и наблюдавайте Flink-базирани, устойчиви на грешки приложения за поточно предаване на данни.
• Управлявайте различни натоварвания.
• Извършвайте разширен анализ.
• Настройте Flink клъстер с множество възли.
• Измерете и оптимизирайте производителността.
• Интегрирайте Flink с различни Big Data системи.
• Сравнете възможностите на Flink с тези на други рамки за обработка на големи данни.

В това водено от инструктор обучение на живо в България (на място или дистанционно), участниците ще се научат как да настройват и интегрират различни Stream Processing рамки със съществуващи системи за съхранение на големи данни и свързани софтуерни приложения и микроуслуги.

До края на това обучение участниците ще могат:

• Инсталирайте и конфигурирайте различни Stream Processing рамки, като Spark Streaming и Kafka Streaming.
• Разберете и изберете най-подходящата рамка за работата.
• Обработване на данни непрекъснато, едновременно и по начин запис по запис.
• Интегрирайте Stream Processing решения със съществуващи бази данни, хранилища за данни, езера от данни и др.
• Интегрирайте най-подходящата библиотека за обработка на потоци с корпоративни приложения и микроуслуги.

Този курс е за корпоративни архитекти, разработчици, системни администратори и всеки, който иска да разбере и използва високопроизводителна система за разпределени съобщения. Ако имате по-специфични изисквания (напр. само от страна на системната администрация), този курс може да бъде пригоден така, че да отговаря по-добре на вашите нужди.

Това водено от инструктор обучение на живо в България (онлайн или на място) е насочено към системни администратори, които желаят да настроят, разположат, управляват и оптимизират Kafka клъстер от корпоративен клас.

До края на това обучение участниците ще могат:

• Настройте и администрирайте Kafka Cluster.
• Оценете предимствата и недостатъците на внедряването на Kafka локално срещу в облака.
• Разположете и наблюдавайте Kafka с помощта на различни инструменти за локална и облачна среда.

Това водено от инструктор обучение на живо в България (онлайн или на място) е насочено към инженери по данни, учени по данни и програмисти, които желаят да използват Apache Kafka функции в поточно предаване на данни с Python.

До края на това обучение участниците ще могат да използват Apache Kafka за наблюдение и управление на условията в непрекъснати потоци от данни, използвайки Python програмиране.

Това водено от инструктор обучение на живо в България (онлайн или на място) е насочено към разработчици, които желаят да приложат Apache Kafka поточно обработване без писане на код.

До края на това обучение участниците ще могат:

• Инсталирайте и конфигурирайте Confluent KSQL.
• Настройте тръбопровод за обработка на потоци, като използвате само SQL команди (без Java или Python кодиране).
• Извършвайте филтриране на данни, трансформации, агрегации, обединения, прозорци и сесии изцяло в SQL.
• Проектирайте и разположете интерактивни, непрекъснати заявки за поточно предаване на ETL и анализи в реално време.

В това водено от инструктор обучение на живо в България (на място или дистанционно), участниците ще се научат как да внедряват и управляват Apache NiFi в лабораторна среда на живо.

До края на това обучение участниците ще могат:

• Инсталирайте и конфигурирайте Apachi NiFi.
• Извличайте, трансформирайте и управлявайте данни от различни, разпределени източници на данни, включително бази данни и големи езера от данни.
• Автоматизирайте потоците от данни.
• Активиране на поточно анализиране.
• Приложете различни подходи за поглъщане на данни.
• Трансформирайте Big Data и в бизнес прозрения.

В това водено от инструктор обучение на живо в България, участниците ще научат основите на базираното на поток програмиране, докато разработват редица демонстрационни разширения, компоненти и процесори, използвайки Apache NiFi.

До края на това обучение участниците ще могат:

• Разберете концепциите за архитектурата и потока от данни на NiFi.
• Разработвайте разширения с помощта на NiFi и API на трети страни.
• Персонализирано разработване на собствен процесор Apache Nifi.
• Поглъщайте и обработвайте данни в реално време от различни и необичайни файлови формати и източници на данни.

Това водено от инструктор обучение на живо в България (онлайн или на място) е насочено към инженери по данни, учени по данни и програмисти, които желаят да използват Spark Streaming функции при обработка и анализ на данни в реално време.

До края на това обучение участниците ще могат да използват Spark Streaming за обработка на потоци от данни на живо за използване в бази данни, файлови системи и табла за управление на живо.