개요
VibeVoice는 Microsoft가 오픈 소스로 공개한 최첨단 음성 AI 모델 제품군으로, 텍스트 음성 변환(TTS) 및 자동 음성 인식(ASR) 모델을 포함합니다. 긴 오디오, 다중 화자 생성 및 다국어를 지원하며, 연속 음성 토큰화와 next-token diffusion 등 혁신적인 기술을 채택하고 있습니다.
README 미리보기
\n\n## 🎙️ VibeVoice: Open-Source Frontier Voice AI\n[](https://microsoft.github.io/VibeVoice)\n[](https://huggingface.co/collections/microsoft/vibevoice-68a2ef24a875c44be47b034f)\n[](https://openreview.net/pdf?id=FihSkzyxdv)\n[](https://arxiv.org/pdf/2601.18184)\n[](https://colab.research.google.com/github/microsoft/VibeVoice/blob/main/demo/VibeVoice_colab.ipynb)\n[](https://aka.ms/vibevoice-asr)\n\n[](https://trendshift.io/repositories/15465)\n\n\n\n\n\n\n \n \n\n\n\n\n\n📰 News\n\n\n\n\n2026-03-06: 🚀 VibeVoice ASR is now part of a Transformers release! You can now use our speech recognition model directly through the Hugging Face Transformers library for seamless integration into your projects.\n\n2026-01-21: 📣 We open-sourced VibeVoice-ASR, a unified speech-to-text model designed to handle 60-minute long-form audio in a single pass, generating structured transcriptions containing Who (Speaker), When (Timestamps), and What (Content), with support for User-Customized Context. Try it in [Playground](https://aka.ms/vibevoice-asr).\n- ⭐️ VibeVoice-ASR is natively multilingual, supporting over 50 languages — check the [supported languages](docs/vibevoice-asr.md#language-distribution) for details.\n- 🔥 The VibeVoice-ASR [finetuning code](finetuning-asr/README.md) is now available!\n- ⚡️ **vLLM inference** is now supported for faster inference; see [vllm-asr](docs/vibevoice-vllm-asr.md) for more details.\n- 📑 [VibeVoice-ASR Technique Report](https://arxiv.org/pdf/2601.18184) is available.\n\n2025-12-16: 📣 We added experimental speakers to VibeVoice‑Realtime‑0.5B for exploration, including multilingual voices in nine languages (DE, FR, IT, JP, KR, NL, PL, PT, ES) and 11 distinct English style voices. [Try it](docs/vibevoice-realtime-0.5b.md#optional-more-experimental-voices). More speaker types will be added over time.\n\n2025-12-03: 📣 We open-sourced VibeVoice‑Realtime‑0.5B, a real‑time text‑to‑speech model that supports streaming text input and robust long-form
FAQ (3)
문제 해결VibeVoice 모델을 로드할 때 발생하는 'TypeError: Object of type dtype is not JSON serializable' 오류를 해결하는 방법은?
이 오류는 Transformers의 from_pretrained() 메서드에 잘못된 매개변수 이름이 전달되어 발생합니다: 인식되지 않는 dtype 매개변수가 모델 config에 주입되며, torch.dtype 타입은 표준 JSON 직렬화를 지원하지 않습니다.
해결 단계:
1. 코드에서 VibeVoiceASRForConditionalGeneration.from_pretrained() 호출을 찾으세요 (오류 발생 예시: demo/vibevoice_asr_inference_from_file.py)
2. 전달된 dtype=xxx 매개변수를 공식적으로 유효한 torch_dtype=xxx로 변경하세요
3. (macOS Apple Silicon/MPS 사용자의 경우 선택 사항) torch_dtype=torch.float16으로 설정하고, XPU 관련 로직을 hasattr(torch.backends, "xpu") 체크로 감싸 macOS에서 AttributeError를 방지하세요
4. 추론 스크립트를 다시 실행하여 오류를 해결하세요
문제 해결VibeVoice-ASR Gradio 데모 링크가 작동하지 않는 문제를 해결하는 방법
공개 VibeVoice-ASR 데모는 Gradio 공유 링크에서 호스팅되며 간혹 사용할 수 없게 될 수 있습니다. 먼저 https://aka.ms/vibevoice-asr을 다시 시도하거나 새로 고침하세요. 안정적인 환경이 필요한 경우 데모를 로컬에서 실행하세요:
python demo/vibevoice_asr_gradio_demo.py --model_path microsoft/VibeVoice-ASR --share공개 링크가 계속 다운되어 있다면 GitHub 이슈를 보고하거나 다시 여세요.
문제 해결VibeVoice-Realtime에서 커스텀 보이스 .pt 파일을 어떻게 생성하거나 학습시킬 수 있나요?
VibeVoice-Realtime .pt 파일은 사용자가 학습시킬 수 있는 모델 가중치가 아니라, 내장/캐시된 음성 프롬프트 프리셋입니다. 현재 커스텀 Realtime TTS 음성 .pt 파일을 생성하기 위한 공개 스크립트나 학습 파이프라인은 제공되지 않습니다. 번들에 포함된 음성을 사용하거나 다음 명령으로 실험용 음성을 다운로드하세요:
bash demo/download_experimental_voices.sh커스텀 음성이 필요한 경우 Realtime 문서를 통해 VibeVoice 팀에 문의하세요. 이 리포지토리의 LoRA 파인튜닝 코드는 VibeVoice-ASR에만 적용되며, Realtime TTS 음성 프리셋 .pt 파일을 생성할 수 없습니다.