План на курса

Въведение в мултимодалните модели

  • Преглед на мултимодалното машинно обучение
  • Приложения на мултимодални модели
  • Предизвикателства при обработката на множество типове данни

Архитектури за мултимодални модели

  • Проучване на модели като CLIP, Flamingo и BLIP
  • Разбиране на кросмодалните механизми на внимание
  • Архитектурни съображения за мащабируемост и ефективност

Подготовка на мултимодални набори от данни

  • Техники за събиране на данни и анотиране
  • Предварителна обработка на текст, изображения и видео входове
  • Балансиране на набори от данни за мултимодални задачи

Техники за фина настройка за мултимодални модели

  • Създаване на тренировъчни конвейери за мултимодални модели
  • Управление на паметта и изчислителните ограничения
  • Обработване на съответствие между модалностите

Приложения на фино настроени мултимодални модели

  • Визуален отговор на въпроси
  • Надписи на изображения и видеоклипове
  • Генериране на съдържание с помощта на мултимодални входове

Оптимизиране и оценка на производителността

  • Метрики за оценка на мултимодални задачи
  • Оптимизиране на латентността и пропускателната способност за производство
  • Осигуряване на устойчивост и последователност между модалностите

Внедряване на мултимодални модели

  • Опаковъчни модели за внедряване
  • Scalaзаключение за облачни платформи
  • Приложения и интеграции в реално време

Казуси от практиката и практически упражнения

  • Фина настройка на CLIP за извличане на изображения, базирани на съдържание
  • Обучение на мултимодален чатбот с текст и видео
  • Внедряване на кръстосани системи за извличане

Обобщение и следващи стъпки

Изисквания

  • Владеене на Python програмиране
  • Разбиране на концепциите за дълбоко обучение
  • Опит с фина настройка на предварително обучени модели

Публика

  • Изследователи на AI
  • Учени по данни
  • Практици машинно обучение
 28 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории