Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
План на курса
Въведение в мултимодалните модели
- Преглед на мултимодалното машинно обучение
- Приложения на мултимодални модели
- Предизвикателства при обработката на множество типове данни
Архитектури за мултимодални модели
- Проучване на модели като CLIP, Flamingo и BLIP
- Разбиране на кросмодалните механизми на внимание
- Архитектурни съображения за мащабируемост и ефективност
Подготовка на мултимодални набори от данни
- Техники за събиране на данни и анотиране
- Предварителна обработка на текст, изображения и видео входове
- Балансиране на набори от данни за мултимодални задачи
Техники за фина настройка за мултимодални модели
- Създаване на тренировъчни конвейери за мултимодални модели
- Управление на паметта и изчислителните ограничения
- Обработване на съответствие между модалностите
Приложения на фино настроени мултимодални модели
- Визуален отговор на въпроси
- Надписи на изображения и видеоклипове
- Генериране на съдържание с помощта на мултимодални входове
Оптимизиране и оценка на производителността
- Метрики за оценка на мултимодални задачи
- Оптимизиране на латентността и пропускателната способност за производство
- Осигуряване на устойчивост и последователност между модалностите
Внедряване на мултимодални модели
- Опаковъчни модели за внедряване
- Scalaзаключение за облачни платформи
- Приложения и интеграции в реално време
Казуси от практиката и практически упражнения
- Фина настройка на CLIP за извличане на изображения, базирани на съдържание
- Обучение на мултимодален чатбот с текст и видео
- Внедряване на кръстосани системи за извличане
Обобщение и следващи стъпки
Изисквания
- Владеене на Python програмиране
- Разбиране на концепциите за дълбоко обучение
- Опит с фина настройка на предварително обучени модели
Публика
- Изследователи на AI
- Учени по данни
- Практици машинно обучение
28 Часа