colibri
SHA-256순수 C로 작성된 제로 의존성 대규모 모델 추론 엔진으로, 전문가를 디스크에서 스트리밍 방식으로 로드해 일반 컴퓨터에서도 천억 파라미터 MoE 모델을 실행할 수 있습니다.
스마트 다운로드
Download 버전 다운로드
v2.0.0 · 10.5 MB
8GB 메모리로도 7000억 파라미터 대규모 모델을 돌릴 수 있다
주요 기능
- 순수 C로 작성, 제로 의존성, 모델 패밀리당 하나의 파일, 작고 감사 가능한 엔진
- Expert를 디스크에서 스트리밍으로 로드, 744B 모델의 상주 메모리는 약 10GB에 불과
- 그래픽 카드 없이 사용 가능, Vulkan/CUDA 자동 가속 선택 가능
- 원클릭 스크립트가 하드웨어를 자동 감지하고 적합한 모델을 추천, 다운로드는 이어받기 지원
- 브라우저 대시보드, OpenAI/Anthropic 호환 API 및 MCP 서버 내장
할 수 없는 것
- •최소 8GB 메모리와 최소 22GB의 여유 디스크 공간이 필요하며, 모델이 클수록 디스크 사용량이 늘어납니다. 속도는 디스크 읽기 성능의 영향을 받아 전체 메모리 추론보다 느리므로 SSD 사용을 권장합니다. WSL에서는 모델을 /mnt/c에 두지 마세요(몇 배나 느려집니다). 처음 다운로드하는 모델 파일은 매우 크지만 이어받기를 지원하므로, 중단된 후 다시 실행하면 이어서 진행할 수 있습니다. 내장 그래픽은 Qwen3.6 등 소수 모델에만 가속 효과가 있으며, 고급 그래픽 카드를 대체하여 최대 속도로 추론할 것이라 기대할 수는 없습니다.
사용 사례
- 일반 가정용 컴퓨터에서 GLM, DeepSeek, Kimi 등 초대형 MoE 모델을 로컬로 실행하여 채팅하기
- 본 기기의 다른 애플리케이션에 OpenAI 호환 로컬 대규모 모델 인터페이스 제공
- 대시보드를 통해 각 전문가의 활성화 과정을 관찰하여 AI 연구 및 교육에 활용
colibri는 순수 C로 작성된 제로 의존성 초경량 대규모 모델 추론 엔진으로, 여러분이 이미 가지고 있는 일반 컴퓨터로도 수천억 파라미터의 MoE 대규모 모델을 실행할 수 있게 해줍니다. 핵심 아이디어는 다음과 같습니다. 밀집(dense) 부분은 메모리에 상주시키고(744B 파라미터의 GLM-5.2도 약 9.9GB만 필요), 라우팅 전문가(expert)는 필요에 따라 디스크에서 스트리밍으로 읽어오며, 스마트 캐시를 통해 자주 사용하는 전문가를 학습합니다. 현재 GLM-5.2/5.3, Kimi K3, DeepSeek V4 Flash, Qwen3.6, MiMo, OLMoE 등 13개 엔진을 지원하며, 이미지 및 의사결정 모델도 포함하고 있습니다. 원클릭 스크립트가 하드웨어를 자동으로 감지하고, 모델을 추천하고, 엔진을 빌드(CPU, Vulkan, CUDA 지원)하며, 브라우저 대시보드와 OpenAI/Anthropic 호환 API를 제공합니다. llama.cpp나 Ollama와 비교하면 엔진이 더 작고 감사(audit)하기 쉬우며, 디스크 스트리밍 아키텍처 덕분에 8-16GB 메모리의 머신으로도 원래 수백 GB의 VRAM이 필요한 모델을 실행할 수 있습니다.
태그
시작하기
소프트웨어 설치
다운로드한 설치 프로그램을 더블 클릭하고 안내에 따르세요
GitHub 페이지에서 ZIP 파일을 다운로드하여 압축을 풀거나, git clone으로 저장소를 클론하세요
Windows에서는 START-HERE.bat를 더블 클릭하고, Linux/macOS에서는 터미널에서 ./start-here.sh를 실행하세요
Enter 키를 눌러 스크립트가 추천하는 모델을 수락하고, 엔진 빌드와 모델 다운로드가 완료될 때까지 기다리세요
- GitHub 페이지에서 ZIP 파일을 다운로드하여 압축을 풀거나, git clone으로 저장소를 클론하세요
- Windows에서는 START-HERE.bat를 더블 클릭하고, Linux/macOS에서는 터미널에서 ./start-here.sh를 실행하세요
- Enter 키를 눌러 스크립트가 추천하는 모델을 수락하고, 엔진 빌드와 모델 다운로드가 완료될 때까지 기다리세요
SHA-256 체크섬 확인됨
GitHub 공식 Release 페이지에서 추출된 체크섬
SHA256 체크섬
fdb8ea2fad7dcfe44d9d37bfb3e444f1299207f268ab499719f98bd772397d79이 체크섬은 GitHub Release 페이지에서 추출되었습니다. 다운로드 후 파일 무결성을 확인하세요.
이 플랫폼의 모든 SHA-256 체크섬은 프로젝트의 공식 GitHub Release 페이지에서 추출되었으며, 어떠한 변경도 없습니다. GitHub Releases 페이지에서 직접 검증할 수 있습니다.
오픈소스 투명성
GitHub 소스 보기제거 정보
먼저 c/coli stop을 실행하여 서비스를 중지한 후(Windows에서는 c\coli.cmd stop 사용), colibri 소스 코드 폴더와 모델 디렉터리(기본값 ~/colibri-models, --dir로 지정한 경우 해당 디렉터리)를 삭제하면 완전히 제거되며 시스템 수준의 잔여물이 남지 않습니다.
추가 의존성 없음
다운로드 후 바로 사용 가능. 추가 런타임이 필요하지 않습니다.
문제 발생? 아래 FAQ 확인
5 FAQs