Skywork представляет SkyReels-V2: модель видео на основе искусственного интеллекта с открытым исходным кодом, обеспечивающую генерацию неограниченной

Платформа, специализирующаяся на ИИ-агентах на рабочих местах, Небесная работа объявила, что ее инструмент для создания видео на базе искусственного интеллекта, Скайрилс , представила SkyReels-V2, видеомодель с открытым исходным кодом на основе искусственного интеллекта, способную генерировать видео неограниченной длины напрямую из веб-браузера бесплатно. Веса модели и код вывода теперь общедоступны на GitHub. SkyReels-V2 использует фреймворк Diffusion Forcing, который интегрирует многомодальные большие языковые модели (MLLM), многоэтапное предварительное обучение, обучение с подкреплением и методы диффузионного форсинга для комплексной оптимизации производительности. Эта модель поддерживает множество практических приложений, включая генерацию историй, синтез изображения в видео, направление камеры и последовательное создание многопредметного видео с помощью системы Skyreels-A2.

Фреймворк Diffusion Forcing позволяет генерировать видео бесконечной продолжительности. SkyReels-V2 поддерживает задачи генерации как текста в видео (T2V), так и изображения в видео (I2V), и способен выполнять вывод как в синхронном, так и в асинхронном режимах, с примерами сценариев, демонстрирующими генерацию длинных видео.

Значимым компонентом SkyReels-V2 является SkyCaptioner-V1, модель видеотитров, разработанная для аннотации данных. Эта модель обучается на результатах титров из базовой модели Qwen2.5-VL-72B-Instruct и дополнительных субэкспертных титровщиков, использующих тщательно подобранный набор данных из примерно двух миллионов сбалансированных видео для обеспечения качества аннотаций и концептуального баланса.

SkyCaptioner-V1, созданный на основе Qwen2.5-VL-7B-Instruct, настроен на улучшение производительности субтитров для видео в конкретных областях. Оценки с использованием тестового набора из 1,000 образцов показывают, что SkyCaptioner-V1 достигает более высокой средней точности, чем современные базовые модели, особенно в областях, связанных с кадрами.

Опираясь на предыдущие успехи с большими языковыми моделями, разработчики сосредоточились на повышении качества генеративного видео с помощью обучения с подкреплением, устраняя выявленные ограничения, такие как трудности с большими, деформируемыми движениями и случайные физические несоответствия в генерируемых видео.

Для повышения производительности были реализованы два последовательных этапа контролируемой тонкой настройки (SFT) с разрешением 540p и 720p соответственно. Начальная фаза SFT имела место сразу после предварительной подготовки и перед этапом обучения с подкреплением. Эта первая фаза SFT действует как концептуальный равновесный тренер, уточняя результаты предварительной подготовки базовой модели, которая использовала только видеоданные с частотой 24 кадра в секунду (fps), и упрощая архитектуру путем удаления компонентов внедрения FPS.

Что такое SkyReels? 

SkyReels — это платформа для создания видео на основе искусственного интеллекта, которая позволяет пользователям создавать короткие фильмы, анимацию и видео, комбинируя текстовые подсказки, изображения и аудиовходы. Платформа предоставляет широкий спектр функций, включая персонажей, сгенерированных ИИ, инструменты для раскадровки, возможности синхронизации губ, сочинение музыки и редактирование видео, все это разработано для оптимизации процесса создания контента. Она также включает в себя передовые модели ИИ, такие как SkyReels-V1 и SkyReels-V2. 

SkyReels-V1 — это модель видеофундамента с открытым исходным кодом, ориентированная на создание видео для коротких драм, ориентированных на человека, поддерживающая как текст в видео и генерация изображений в видео с точной передачей тонких выражений лица и созданием визуальных эффектов кинематографического качества.