개요
bitnet.cpp는 Microsoft의 공식 1-bit 대규모 모델 추론 프레임워크로, BitNet b1.58과 같은 삼값 모델을 CPU와 GPU에서 빠르고 손실 없이 추론할 수 있도록 지원합니다. 최적화된 커널은 x86 및 ARM 플랫폼에서 상당한 속도 향상과 에너지 소비 절감을 가져오며, 심지어 단일 CPU에서도 1,000억 개 파라미터 모델을 실행할 수 있어 로컬 디바이스에 대규모 모델을 배포하는 것을 촉진합니다.
README 미리보기
\n\n# bitnet.cpp\n\n[](https://opensource.org/licenses/MIT)\n\n[](https://huggingface.co/collections/microsoft/bitnet)\n[](https://arxiv.org/abs/2502.11880)\n[](https://demo-bitnet-h0h8hcfqeqhrf5gf.canadacentral-01.azurewebsites.net/)\n[](https://github.com/microsoft/BitNet/blob/main/gpu/README.md)\n\n\n\n\n\n📰 News\n\n07/23/2026: 📣 We released VibeASR.cpp — a real-time multilingual ASR inference engine on CPU using BitNet I2_S quantization, achieving RTF Code] [Models] [Report] \n\n07/20/2026: 📣 We released BitNet-embedding-0.6B and BitNet-embedding-270M on Hugging Face — the first 1-bit embedding models that deliver competitive embedding quality with significantly faster inference on CPUs.\n- **1.42x to 2.28x speedup** over F16 on BitNet-embedding-0.6B prefill (8 threads)\n- **1.32x to 1.74x speedup** over F16 on BitNet-embedding-270M prefill (8 threads)\n- Supports I2_S conversion with optimized kernels on x86 CPUs\n- Lossless inference with 2 bits per weight\n\n07/16/2026: 📣 Released [BitNet Embeddings 0.6B/270M: I2_S Conversion and Inference Optimization](docs/bitnet-embeddings-i2s-guide.md) — detailed guide for converting and running BitNet embedding models with optimized I2_S kernels.\n\n01/15/2026: 📣 Released [BitNet CPU Inference Optimization](https://github.com/microsoft/BitNet/blob/main/src/README.md) — parallel kernel implementations with configurable tiling and embedding quantization support, achieving **1.15x to 2.1x** additional speedup over the original implementation.\n\n05/20/2025: 📣 Released [BitNet Official GPU inference kernel](https://github.com/microsoft/BitNet/blob/main/gpu/README.md) — extending 1-bit inference beyond CPUs.\n\n04/14/2025: 📣 Released [BitNet Official 2B Parameter Model](https://huggingface.co/microsoft/BitNet-b1.58-2B-4T) on Hugging Face — the first official BitNet b1.58 model trained with 4T tokens.\n\n02/18/2025: 📑 [Bitnet.cpp: Efficient Edge Inference for Ternary LLMs](https://arxiv.org/abs/2502.11880) — system-lev
FAQ (1)
문제 해결Windows에서 BitNet 빌드 후 llama-cli.exe 누락(FileNotFoundError WinError 2) 문제를 해결하는 방법
빌드는 성공하지만 llama.cpp가 Git 서브모듈로 포함되어 있기 때문에 CMake가 기본적으로 LLAMA_BUILD_EXAMPLES=OFF로 설정되어(CLI가 'example' 타겟으로 처리됨) llama-cli.exe가 생성되지 않습니다. 해결 방법: 빌드하기 전에 해당 플래그를 활성화하여 CMake 구성 단계를 다시 실행하세요:
cmake -B build -DLLAMA_BUILD_EXAMPLES=ON .
cmake --build build --config Release
또는 CLI 타겟만 명시적으로 빌드할 수 있습니다: cmake --build build --config Release --target llama-cli. 다시 빌드하면 llama-cli.exe가 build/bin/Release에 생성되며 python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "Test" -cnv가 정상적으로 작동합니다. setup_env.py에 대한 영구적인 수정이 PR #477로 제출되었습니다.