Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
План на курса
1: HDFS (17%)
- Опишете функцията на HDFS Daemons
- Опишете нормалната работа на клъстер Apache Hadoop, както при съхранение на данни, така и при обработка на данни.
- Идентифицирайте текущите характеристики на изчислителните системи, които мотивират система като Apache Hadoop.
- Класифицирайте основните цели на HDFS Design
- Като се има предвид сценарий, идентифицирайте подходящ случай на употреба за HDFS Federation
- Идентифицирайте компоненти и демон на HDFS HA-Quorum клъстер
- Анализирайте ролята на сигурността на HDFS (Kerberos)
- Определете най-добрия избор за сериализиране на данни за даден сценарий
- Опишете пътищата за четене и запис на файлове
- Идентифицирайте командите за манипулиране на файлове в обвивката на файловата система Hadoop.
2: YARN и MapReduce версия 2 (MRv2) (17%)
- Разберете как надграждането на клъстер от Hadoop 1 до Hadoop 2 влияе върху настройките на клъстера
- Разберете как да разположите MapReduce v2 (MRv2 / YARN), включително всички YARN демони
- Разберете основната стратегия за проектиране за MapReduce v2 (MRv2)
- Определете как YARN обработва разпределението на ресурсите
- Идентифицирайте работния процес на заданието MapReduce, изпълнявано на YARN
- Определете кои файлове трябва да промените и как, за да мигрирате клъстер от MapReduce версия 1 (MRv1) към MapReduce версия 2 (MRv2), работещ на YARN.
3: Hadoop Клъстерно планиране (16%)
- Основни моменти, които трябва да имате предвид при избора на хардуер и операционни системи за хостване на Apache Hadoop клъстер.
- Анализирайте изборите при избора на ОС
- Разберете настройката на ядрото и размяната на дискове
- Предвид сценарий и модел на работно натоварване, идентифицирайте хардуерна конфигурация, подходяща за сценария
- При даден сценарий определете компонентите на екосистемата, които вашият клъстер трябва да изпълнява, за да изпълни SLA
- Оразмеряване на клъстер: като се има предвид сценарий и честота на изпълнение, идентифицирайте спецификите за работното натоварване, включително CPU, памет, съхранение, диск I/O
- Оразмеряване и конфигурация на диска, включително JBOD срещу RAID, SAN, виртуализация и изисквания за оразмеряване на диска в клъстер
- Мрежови топологии: разберете използването на мрежата в Hadoop (както за HDFS, така и за MapReduce) и предложете или идентифицирайте ключови компоненти на мрежовия дизайн за даден сценарий
4: Hadoop Инсталиране и администриране на клъстер (25%)
- При даден сценарий определете как клъстерът ще се справи с повреди на диска и машината
- Анализирайте конфигурация за регистриране и файлов формат за конфигурация за регистриране
- Разберете основите на Hadoop показателите и мониторинга на здравето на клъстерите
- Идентифицирайте функцията и предназначението на наличните инструменти за мониторинг на клъстери
- Да можете да инсталирате всички компоненти на екосистемата в CDH 5, включително (но не само): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive и Pig
- Идентифицирайте функцията и предназначението на наличните инструменти за управление на файловата система Apache Hadoop.
5: Ресурс Management (10%)
- Разберете общите цели на дизайна на всеки от Hadoop планировчици
- При даден сценарий определете как FIFO Scheduler разпределя ресурсите на клъстера
- При даден сценарий определете как Fair Scheduler разпределя клъстерни ресурси под YARN
- При даден сценарий определете как планировчикът на капацитет разпределя ресурсите на клъстера
6: Наблюдение и регистриране (15%)
- Разберете функциите и характеристиките на способностите на Hadoop за събиране на показатели
- Анализирайте уеб интерфейсите NameNode и JobTracker
- Разберете как да наблюдавате клъстерни демони
- Идентифицирайте и наблюдавайте използването на процесора на главните възли
- Опишете как да наблюдавате разпределението на суап и памет на всички възли
- Определете как да преглеждате и управлявате регистрационните файлове на Hadoop.
- Интерпретиране на лог файл
Изисквания
- Основни Linux административни умения
- Основни умения по програмиране
35 Часа
Oтзиви от потребители (3)
I genuinely enjoyed the many hands-on sessions.
Jacek Pieczatka
Курс - Administrator Training for Apache Hadoop
I genuinely enjoyed the big competences of Trainer.
Grzegorz Gorski
Курс - Administrator Training for Apache Hadoop
I mostly liked the trainer giving real live Examples.