OpenSource-Hub

YuE

데이터셋·모델

multimodal-art-projection/YuE

최첨단 오픈 소스 음악 생성 모델로, 심볼릭 플래닝과 에이전트 편집을 지원합니다.

개요

YuE2는 오픈 소스 음악 생성 기반 모델로, 가사와 스타일 프롬프트를 바탕으로 먼저 편집 가능한 멜로디와 코드 악보를 생성한 뒤 보컬이 포함된 48kHz 스테레오 완성곡으로 합성합니다. 제로샷 커버, 화이트박스 악보 편집, 대화형 에이전트 음악 수정을 지원하며, 생성 품질은 주류 상용 시스템에 견줄 만합니다.

README 미리보기

> Looking for the original YuE? Its code, documentation, and license are preserved on the **[YuE-v1 branch](https://github.com/multimodal-art-projection/YuE/tree/YuE-v1)**.\n\n\n  \n\n\n\n  \n    \n    \n  \n\n\nYuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality\n\nCompose in symbols. Create in sound.\n\n\n  🎧 Demos ·\n  🤗 YuE2 ·\n  🚀 Quick start ·\n  🤖 Agent skill ·\n  📊 Benchmarks ·\n  🤗 MERT2 ·\n  🤗 SheetSage2 ·\n  🤗 WSB ·\n  📦 Release ·\n  \n\n\n**YuE2 brings frontier song quality to music generation with an editable composition.** Give it lyrics and a style prompt: it writes a melody-and-chord plan, then realizes that plan as a complete song with vocals and accompaniment.\n\n- **Frontier quality.** YuE2 is competitive with Suno v5/v6 on WildSongBench. YuE2 (best-of-8) achieves **6.9632 SongBench Avg**, the highest observed mean among all evaluated settings.\n- **White-box music generation through symbolic planning.** Read, play, and change the composition before rendering it. Melody and chords become explicit controls that a person or an agent can inspect and edit.\n- **Zero-shot covers and agentic editing.** Reimagine a transcribed song in a new style, or refine a song through a conversation about its score, arrangement, and lyrics—all with the same generation checkpoint.\n\n[](https://map-yue2.github.io/#model-overview)\n\n*192 WildSongBench prompts. Both YuE2 settings use symbolic planning. Bo8 = best-of-8. The axes are normalized comparison indices; bubble area represents AudioBox production quality. [Scores and evaluation protocol](docs/benchmarks.md). [Vector PDF](assets/frontier-teaser.pdf) · [SVG](assets/frontier-teaser.svg).*\n\n## Hear what you can make\n\n| Create | Cover | Edit with an agent |\n|---|---|---|\n| Lyrics + style → score → full song | Source recording → melody score → a new interpretation | Musical feedback → score, style, or lyric revisions → a new recording |\n| [Listen and inspect the score](https://map-y

FAQ (1)

문제 해결
ComfyUI YuE (smthemex nodes)에서 'UnboundLocalError: cannot access local variable raw_output' 오류를 해결하는 방법

이것은 ComfyUI_YuE 팩의 로직 버그입니다: Stage 1 생성이 세그먼트를 하나도 생성하지 않을 때(짧은 가사, 특정 프롬프트 조합, guidance 비활성화), raw_output을 할당하는 루프가 실행되지 않아 yue_node.py의 ids = raw_output[0].cpu().numpy()에서 변수가 정의되지 않은 상태가 됩니다.

수정 1 — custom_nodes/ComfyUI_YuE/yue_node.py 패치: sampler_main 내부에서 생성 루프 전에 변수를 초기화합니다:

raw_output = None

그리고 ids = raw_output[0]... 줄 앞에 다음을 추가합니다:
if raw_output is None:
    raise RuntimeError("Stage1 produced no output tokens (raw_output is None)")

또는 raw_output = torch.empty((1, 0), device=device, dtype=torch.long)으로 초기화할 수도 있습니다. 그러면 유효한 생성에 대해 Stage A가 완료됩니다.

수정 2 — 이어서 ImportError: TorchCodec is required for load_with_torchcodec 오류가 발생하는 경우: torchaudio ≥ 2.9는 torchaudio.load()에 TorchCodec을 기본으로 사용합니다. ComfyUI와 동일한 venv에 설치하세요:

pip install torchcodec

Linux에서 ComfyUI 0.9.2, Python 3.12, torch 2.9.1+cu128, torchaudio 2.9.1+cu128, torchcodec 0.9.1 환경으로 작동을 확인했습니다. 두 가지 수정을 모두 적용하면 전체 YuE 파이프라인이 실행되고 오디오가 정상적으로 생성됩니다.

원본 Issue #148