OpenSource-Hub

LongCat-Video

데이터셋·모델

meituan-longcat/LongCat-Video

美团 13.6B 비디오 생성 기반 모델로, 텍스트-투-비디오 및 긴 비디오 생성을 지원합니다.

개요

LongCat-Video는 Meituan이 오픈소스로 공개한 13.6B 비디오 생성 파운데이션 모델로, 단일 아키텍처에서 텍스트-투-비디오, 이미지-투-비디오 및 비디오 이어쓰기 작업을 통합 지원합니다. coarse-to-fine 생성 전략과 블록 희소 어텐션을 통해 색상 드리프트 없이 수 분 길이의 고품질 비디오를 효율적으로 생성할 수 있으며, 다중 보상 GRPO 강화 학습으로 최적화되었습니다. Avatar 버전은 오디오 기반 디지털 휴먼 애니메이션 생성도 지원합니다.

README 미리보기

# LongCat-Video\n\n\n  \n\n\n\n\n\n  \n  \n  \n  \n\n\n  \n  \n  \n  \n  \n\n\n  \n  \n    \n  \n\n  \n\n\n## Model Introduction\nWe introduce LongCat-Video, a foundational video generation model with 13.6B parameters, delivering strong performance across *Text-to-Video*, *Image-to-Video*, and *Video-Continuation* generation tasks. It particularly excels in efficient and high-quality long video generation, representing our first step toward world models.\n\n### Key Features\n- 🌟 **Unified architecture for multiple tasks**: LongCat-Video unifies *Text-to-Video*, *Image-to-Video*, and *Video-Continuation* tasks within a single video generation framework. It natively supports all these tasks with a single model and consistently delivers strong performance across each individual task.\n- 🌟 **Long video generation**: LongCat-Video is natively pretrained on *Video-Continuation* tasks, enabling it to produce minutes-long videos without color drifting or quality degradation.\n- 🌟 **Efficient inference**: LongCat-Video generates $720p$, $30fps$ videos within minutes by employing a coarse-to-fine generation strategy along both the temporal and spatial axes. Block Sparse Attention further enhances efficiency, particularly at high resolutions\n- 🌟 **Strong performance with multi-reward RLHF**: Powered by multi-reward Group Relative Policy Optimization (GRPO), comprehensive evaluations on both internal and public benchmarks demonstrate that LongCat-Video achieves performance comparable to leading open-source video generation models as well as the latest commercial solutions.\n\nFor more detail, please refer to the comprehensive [***LongCat-Video Technical Report***](https://arxiv.org/abs/2510.22200).\n\n## 🎥 Teaser Video\n\n\n   \n\n\n## 🔥 Latest News!!\n- May 21, 2026: 🚀 We release [***LongCat-Video-Avatar-1.5***](https://meigen-ai.github.io/LongCat-Video-Avatar-1.5-Page/), an upgraded open-source framework for audio-driven human video generation. v1.5 replaces Wav2Vec2 

FAQ (1)

방법
LongCat-Video-Avatar 1.5 베이스 모델에는 GRPO 학습이 포함되어 있나요? 그리고 non-DMD 베이스라인 추론은 어떻게 실행하나요?

네. 릴리스된 base_model과 base_model_int8 가중치는 이미 GRPO (RLHF) 학습 단계가 포함된 병합 체크포인트입니다. lora/dmd_lora.safetensors 파일은 *non-GRPO* 베이스 버전으로 학습된 DMD2 가속 어댑터일 뿐이며, GRPO 품질 개선이 아닌 스텝 증류를 제공합니다.

v1.5의 non-DMD 베이스라인 품질을 평가하려면 --use_distill 없이 avatar-v1.5를 실행하고 기본 스케줄러/config로 추론 스텝을 40으로 설정하세요. --use_distill (DMD)를 사용할 때는 8 스텝이면 충분하며, 메인테이너에 따르면 DMD 증류 설정이 비증류 베이스라인보다 더 나은 안정성을 제공합니다.

원본 Issue #123