План на курса

1: HDFS (17%)

  • Опишете функцията на HDFS Daemons
  • Опишете нормалната работа на клъстер Apache Hadoop, както при съхранение на данни, така и при обработка на данни.
  • Идентифицирайте текущите характеристики на изчислителните системи, които мотивират система като Apache Hadoop.
  • Класифицирайте основните цели на HDFS Design
  • Като се има предвид сценарий, идентифицирайте подходящ случай на употреба за HDFS Federation
  • Идентифицирайте компоненти и демон на HDFS HA-Quorum клъстер
  • Анализирайте ролята на сигурността на HDFS (Kerberos)
  • Определете най-добрия избор за сериализиране на данни за даден сценарий
  • Опишете пътищата за четене и запис на файлове
  • Идентифицирайте командите за манипулиране на файлове в обвивката на файловата система Hadoop.

2: YARN и MapReduce версия 2 (MRv2) (17%)

  • Разберете как надграждането на клъстер от Hadoop 1 до Hadoop 2 влияе върху настройките на клъстера
  • Разберете как да разположите MapReduce v2 (MRv2 / YARN), включително всички YARN демони
  • Разберете основната стратегия за проектиране за MapReduce v2 (MRv2)
  • Определете как YARN обработва разпределението на ресурсите
  • Идентифицирайте работния процес на заданието MapReduce, изпълнявано на YARN
  • Определете кои файлове трябва да промените и как, за да мигрирате клъстер от MapReduce версия 1 (MRv1) към MapReduce версия 2 (MRv2), работещ на YARN.

3: Hadoop Клъстерно планиране (16%)

  • Основни моменти, които трябва да имате предвид при избора на хардуер и операционни системи за хостване на Apache Hadoop клъстер.
  • Анализирайте изборите при избора на ОС
  • Разберете настройката на ядрото и размяната на дискове
  • Предвид сценарий и модел на работно натоварване, идентифицирайте хардуерна конфигурация, подходяща за сценария
  • При даден сценарий определете компонентите на екосистемата, които вашият клъстер трябва да изпълнява, за да изпълни SLA
  • Оразмеряване на клъстер: като се има предвид сценарий и честота на изпълнение, идентифицирайте спецификите за работното натоварване, включително CPU, памет, съхранение, диск I/O
  • Оразмеряване и конфигурация на диска, включително JBOD срещу RAID, SAN, виртуализация и изисквания за оразмеряване на диска в клъстер
  • Мрежови топологии: разберете използването на мрежата в Hadoop (както за HDFS, така и за MapReduce) и предложете или идентифицирайте ключови компоненти на мрежовия дизайн за даден сценарий

4: Hadoop Инсталиране и администриране на клъстер (25%)

  • При даден сценарий определете как клъстерът ще се справи с повреди на диска и машината
  • Анализирайте конфигурация за регистриране и файлов формат за конфигурация за регистриране
  • Разберете основите на Hadoop показателите и мониторинга на здравето на клъстерите
  • Идентифицирайте функцията и предназначението на наличните инструменти за мониторинг на клъстери
  • Да можете да инсталирате всички компоненти на екосистемата в CDH 5, включително (но не само): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive и Pig
  • Идентифицирайте функцията и предназначението на наличните инструменти за управление на файловата система Apache Hadoop.

5: Ресурс Management (10%)

  • Разберете общите цели на дизайна на всеки от Hadoop планировчици
  • При даден сценарий определете как FIFO Scheduler разпределя ресурсите на клъстера
  • При даден сценарий определете как Fair Scheduler разпределя клъстерни ресурси под YARN
  • При даден сценарий определете как планировчикът на капацитет разпределя ресурсите на клъстера

6: Наблюдение и регистриране (15%)

  • Разберете функциите и характеристиките на способностите на Hadoop за събиране на показатели
  • Анализирайте уеб интерфейсите NameNode и JobTracker
  • Разберете как да наблюдавате клъстерни демони
  • Идентифицирайте и наблюдавайте използването на процесора на главните възли
  • Опишете как да наблюдавате разпределението на суап и памет на всички възли
  • Определете как да преглеждате и управлявате регистрационните файлове на Hadoop.
  • Интерпретиране на лог файл

Изисквания

  • Основни Linux административни умения
  • Основни умения по програмиране
 35 Часа

Брой участници


Цена за участник

Oтзиви от потребители (3)

Предстоящи Курсове

Свързани Kатегории