План на курса

Въведение

  • Преглед на предизвикателствата при мащабиране на дълбокото обучение
  • Преглед на DeepSpeed и неговите функции
  • DeepSpeed срещу други разпределени библиотеки за дълбоко обучение

Първи стъпки

  • Настройка на средата за разработка
  • Инсталиране на PyTorch и DeepSpeed
  • Конфигуриране на DeepSpeed за разпределено обучение

Функции за оптимизация на DeepSpeed

  • Тръбопровод за обучение DeepSpeed
  • ZeRO (оптимизиране на паметта)
  • Контролна точка за активиране
  • Градиентна контролна точка
  • Паралелизъм на тръбопровода

Мащабиране на модели с DeepSpeed

  • Основно мащабиране с помощта на DeepSpeed
  • Разширени техники за мащабиране
  • Съображения за производителност и най-добри практики
  • Техники за отстраняване на грешки и отстраняване на проблеми

Разширени теми за DeepSpeed

  • Разширени техники за оптимизация
  • Използване на DeepSpeed със смесено прецизно обучение
  • DeepSpeed на различен хардуер (напр. GPUs, TPU)
  • DeepSpeed с множество тренировъчни възли

Интегриране на DeepSpeed с PyTorch

  • Интегриране на работни потоци на DeepSpeed с PyTorch.
  • Използване на DeepSpeed с PyTorch Lightning

Отстраняване на неизправности

  • Отстраняване на грешки често срещани проблеми с DeepSpeed
  • Мониторинг и регистриране

Обобщение и следващи стъпки

  • Резюме на ключови концепции и функции
  • Най-добри практики за използване на DeepSpeed в производството
  • Допълнителни ресурси за научаване на повече за DeepSpeed

Изисквания

  • Средни познания за принципите на задълбочено обучение
  • Опит с PyTorch или подобни рамки за дълбоко обучение
  • Познаване на Python програмиране

Публика

  • Учени по данни
  • Инженери по машинно обучение
  • Разработчици
 21 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории