Skywork ra mắt SkyReels-V2: Mô hình video AI nguồn mở cung cấp khả năng tạo video có độ dài không giới hạn

Nền tảng chuyên về các tác nhân nơi làm việc AI, Công trình trên bầu trời đã công bố công cụ tạo video AI của mình, Skyreel (cuộn phim trên không) , đã giới thiệu SkyReels-V2, một mô hình video AI nguồn mở có khả năng tạo video có độ dài không giới hạn trực tiếp từ trình duyệt web mà không mất phí. Trọng số và mã suy luận của mô hình hiện đã có sẵn công khai trên GitHub. SkyReels-V2 sử dụng một khuôn khổ Diffusion Forcing tích hợp các Mô hình ngôn ngữ lớn đa phương thức (MLLM), tiền huấn luyện nhiều giai đoạn, học tăng cường và các kỹ thuật cưỡng bức khuếch tán để tối ưu hóa hiệu suất một cách toàn diện. Mô hình này hỗ trợ nhiều ứng dụng thực tế, bao gồm tạo câu chuyện, tổng hợp hình ảnh thành video, hướng máy quay và tạo video đa chủ đề nhất quán thông qua hệ thống Skyreels-A2.

Khung Diffusion Forcing cho phép tạo video có thời lượng vô hạn. SkyReels-V2 hỗ trợ cả tác vụ tạo văn bản thành video (T2V) và hình ảnh thành video (I2V) và có khả năng chạy suy luận ở cả chế độ đồng bộ và không đồng bộ, với các tập lệnh ví dụ minh họa khả năng tạo video dài.

Một thành phần đáng chú ý của SkyReels-V2 là SkyCaptioner-V1, một mô hình chú thích video được thiết kế cho chú thích dữ liệu. Mô hình này được đào tạo trên kết quả chú thích từ mô hình Qwen2.5-VL-72B-Instruct cơ sở và các chú thích phụ chuyên gia bổ sung bằng cách sử dụng một tập dữ liệu được tuyển chọn cẩn thận gồm khoảng hai triệu video cân bằng để đảm bảo chất lượng chú thích và sự cân bằng về mặt khái niệm.

SkyCaptioner-V1, được xây dựng trên nền tảng Qwen2.5-VL-7B-Instruct, được tinh chỉnh để cải thiện hiệu suất chú thích video theo từng lĩnh vực cụ thể. Đánh giá sử dụng bộ thử nghiệm gồm 1,000 mẫu cho thấy SkyCaptioner-V1 đạt độ chính xác trung bình cao hơn các mô hình cơ sở hiện đại, đặc biệt là trong các lĩnh vực liên quan đến cảnh quay.

Dựa trên những thành công trước đây với các mô hình ngôn ngữ lớn, các nhà phát triển tập trung vào việc nâng cao chất lượng video tạo ra thông qua học tăng cường, giải quyết các hạn chế đã xác định như khó khăn với chuyển động lớn, dễ biến dạng và sự không nhất quán về mặt vật lý trong các video được tạo ra.

Để cải thiện hiệu suất, hai giai đoạn tuần tự của quá trình tinh chỉnh có giám sát (SFT) đã được triển khai ở độ phân giải 540p và 720p. Giai đoạn SFT ban đầu diễn ra ngay sau khi đào tạo trước và trước giai đoạn học tăng cường. Giai đoạn SFT đầu tiên này hoạt động như một trình đào tạo cân bằng khái niệm, tinh chỉnh kết quả đào tạo trước của mô hình nền tảng, chỉ sử dụng dữ liệu video 24 khung hình trên giây (fps) và đơn giản hóa kiến ​​trúc bằng cách loại bỏ các thành phần nhúng FPS.

SkyReels là gì? 

SkyReels là một nền tảng tạo video được hỗ trợ bởi trí tuệ nhân tạo cho phép người dùng sản xuất phim ngắn, hoạt hình và video bằng cách kết hợp lời nhắc văn bản, hình ảnh và đầu vào âm thanh. Nền tảng này cung cấp nhiều tính năng bao gồm các nhân vật do AI tạo ra, các công cụ để tạo kịch bản phân cảnh, khả năng đồng bộ hóa môi, sáng tác nhạc và chỉnh sửa video, tất cả đều được thiết kế để hợp lý hóa quy trình tạo nội dung. Nó cũng bao gồm các mô hình AI tiên tiến như SkyReels-V1 và SkyReels-V2. 

SkyReels-V1 là một mô hình nền tảng video nguồn mở tập trung vào sản xuất video lấy con người làm trung tâm cho các bộ phim truyền hình ngắn, hỗ trợ cả chuyển văn bản thành video và tạo hình ảnh thành video trong khi vẫn thể hiện chính xác các biểu cảm khuôn mặt tinh tế và mang lại hình ảnh chất lượng điện ảnh.