План на курса
Въведение в Google Colab и Apache Spark
- Общ преглед на Google Colab
- Въведение в Apache Spark
- Настройване на Spark в Google Colab
Обработка на данни с Apache Spark
- Работа с RDD и DataFrames
- Зареждане и обработка на големи набори от данни
- Използване на Spark SQL за запитване към структурирани данни
Разширен анализ със Spark
- Машинно обучение със Spark MLlib
- Извършване на анализ на данни в реално време
- Разпределено изчисление със Spark
Визуализация и Collaboration в Google Colab
- Интегриране на Colab с популярни библиотеки за визуализация
- Съвместни работни процеси с преносими компютри Colab
- Споделяне и експортиране на резултати
Оптимизиране Big Data на работните процеси
- Тунинг Spark за производителност
- Оптимизиране на използването на паметта и съхранението
- Мащабиране на работни потоци за големи набори от данни
Big Data в облака
- Интегриране на Google Colab с инструменти, базирани на облак
- Използване на облачно хранилище за големи данни
- Работа със Spark в разпределени облачни среди
Казуси и най-добри практики
- Преглед на реални приложения за големи данни
- Казуси с използване на Apache Spark и Colab
- Най-добри практики за анализ на големи данни
Обобщение и следващи стъпки
Изисквания
- Основни познания за концепциите за науката за данни
- Познаване на Apache Spark
- Python умения за програмиране
Публика
- Учени по данни
- Инженери по данни
- Изследователи, работещи с големи данни
Oтзиви от потребители (5)
Hands-on examples allowed us to get an actual feel for how the program works. Good explanations and integration of theoretical concepts and how they relate to practical applications.
Ian - Archeoworks Inc.
Курс - ArcGIS Fundamentals
Лабораторно упражнение
Tse Kiat - ST Engineering Training & Simulation Systems Pte. Ltd.
Курс - Automated Monitoring with Zabbix
Машинен превод
All the topics which he covered including examples. And also explained how they are helpful in our daily job.
madduri madduri - Boskalis Singapore Pte Ltd
Курс - QGIS for Geographic Information System
Хареса ми стила на Пабло, факта, че той покриваше много теми от дизайна на отчети, персонализиране с html до прилагане на прости ML алгоритми. Goот баланс теоретична информация / упражнения. Пабло наистина обхвана всички теми, които ме интересуваха, и даде изчерпателни отговори на въпросите ми.
Cristian Tudose - SC Automobile Dacia SA
Курс - Advanced Data Analysis with TIBCO Spotfire
Машинен превод
Actual application of spotfire and all basic functions.