llama.cpp
SHA-256순수한 C/C++의 고성능 대형 모델 추론 엔진은 낮은 비트 양적 및 다양한 하드웨어 (Apple Silicon, CUDA, Vulkan 등)를 지원하며 쉽게 삽입할 수 있습니다.
로컬로 실행되는 대 언어 모델의 가장 가벼운 엔진은 PyTorch를 설치하지 않고 메모리를 절약합니다!
주요 기능
- [“순수한 C/C++ 구현, 제로 의존성, 다양한 응용 프로그램에 직접 삽입할 수 있는”,“1.5~8비트 정량화 지원, 디스플레이 용량이 매우 낮은”,“Apple Silicon, x86, NVIDIA, AMD, Vulkan, SYCL, 수십 개의 모델 형식(GGUF)과 호환, 주류 오픈소스 대형 모델을 커버”,“명령줄 추론 및 OpenAI 호환 API 서버 제공”]
할 수 없는 것
- •모델은 GGUF 형식이어야 하며, 일부 오래된 버전의 도구는 최신 GGUF를 지원하지 않습니다; 2) 양적 모델 (특히 2 비트 미만)은 부분적인 추론 품질을 잃고 작업에 따라 속도와 효과를 균형 잡아야 합니다; 3) 처음 실행할 때 Hugging Face에서 모델을 다운로드하여 네트워크를 원활하게 유지해야 합니다.
사용 사례
- 개인 컴퓨터에서 7B~70B 매개 변수를 실행하는 대형 모델, 네트워크 지연 없음
- LLM 추론을 데스크톱, 모바일 또는 서버 소프트웨어에 통합
- 텍스트 생성, 번역, 요약 등 작업을 대량 처리, 저렴한 배포
상세 설명
C.C.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.P.
태그
시작하기
소프트웨어 설치
다운로드한 설치 프로그램을 더블 클릭하고 안내에 따르세요
GitHub Releases에서 시스템에 적합한 사전 컴파일 패키지를 다운로드하거나 brew/nix/winget를 통해 설치
GGGUF 형식의 모델 파일을 준비 (Hugging Face에서 직접 다운로드 할 수 있습니다, 예를 들어 `ggml-org/gemma-3-1b-it-GGUF`)
터미널을 열고 'llama-cli -m 모델 경로.gguf'를 실행하여 대화 시작; 또는 'llama-server -m 모델 경로.gguf'를 실행하여 API 서버를 시작
- GitHub Releases에서 시스템에 적합한 사전 컴파일 패키지를 다운로드하거나 brew/nix/winget를 통해 설치
- GGGUF 형식의 모델 파일을 준비 (Hugging Face에서 직접 다운로드 할 수 있습니다, 예를 들어 `ggml-org/gemma-3-1b-it-GGUF`)
- 터미널을 열고 'llama-cli -m 모델 경로.gguf'를 실행하여 대화 시작; 또는 'llama-server -m 모델 경로.gguf'를 실행하여 API 서버를 시작
최신 릴리스 노트
<details open>
hexagon: add support for TRI op (#22822)
* Hexagon: TRI HVX Kernel addition to ggml hexagon HTP ops and context
* addressed PR review comments for TRI op
* hexagon: clang format
* hex-unary: remove merge conflict markers
* hex-ggml: remove duplicate op cases (merge conflict)
* hex-ggml: fix editor config errors
---------
Co-authored-by: Todor Boinovski <todorb@qti.qualcomm.com>
Co-authored-by: Max Krasnyansky <maxk@qti.qualcomm.com>
</details>
**macOS/iOS:**
- [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-macos-arm64.tar.gz)
- [macOS Apple Silicon (arm64, KleidiAI enabled)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-macos-arm64-kleidiai.tar.gz)
- [macOS Intel (x64)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-macos-x64.tar.gz)
- [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-xcframework.zip)
**Linux:**
- [Ubuntu x64 (CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-ubuntu-x64.tar.gz)
- [Ubuntu arm64 (CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-ubuntu-arm64.tar.gz)
- [Ubuntu s390x (CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-ubuntu-s390x.tar.gz)
- [Ubuntu x64 (Vulkan)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-ubuntu-vulkan-x64.tar.gz)
- [Ubuntu arm64 (Vulkan)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-ubuntu-vulkan-arm64.tar.gz)
- [Ubuntu x64 (ROCm 7.2)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-ubuntu-rocm-7.2-x64.tar.gz)
- [Ubuntu x64 (OpenVINO)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-ubuntu-openvino-2026.0-x64.tar.gz)
- [Ubuntu x64 (SYCL FP32)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-ubuntu-sycl-fp32-x64.tar.gz)
- [Ubuntu x64 (SYCL FP16)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-ubuntu-sycl-fp16-x64.tar.gz)
**Android:**
- [Android arm64 (CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-android-arm64.tar.gz)
**Windows:**
- [Windows x64 (CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-win-cpu-x64.zip)
- [Windows arm64 (CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-win-cpu-arm64.zip)
- [Windows x64 (CUDA 12)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-win-cuda-12.4-x64.zip) - [CUDA 12.4 DLLs](https://github.com/ggml-org/llama.cpp/releases/download/b9222/cudart-llama-bin-win-cuda-12.4-x64.zip)
- [Windows x64 (CUDA 13)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-win-cuda-13.1-x64.zip) - [CUDA 13.1 DLLs](https://github.com/ggml-org/llama.cpp/releases/download/b9222/cudart-llama-bin-win-cuda-13.1-x64.zip)
- [Windows x64 (Vulkan)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-win-vulkan-x64.zip)
- [Windows x64 (SYCL)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-win-sycl-x64.zip)
- [Windows x64 (HIP)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-win-hip-radeon-x64.zip)
**openEuler:**
- [openEuler x86 (310p)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-310p-openEuler-x86.tar.gz)
- [openEuler x86 (910b, ACL Graph)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-910b-openEuler-x86-aclgraph.tar.gz)
- [openEuler aarch64 (310p)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-310p-openEuler-aarch64.tar.gz)
- [openEuler aarch64 (910b, ACL Graph)](https://github.com/ggml-org/llama.cpp/releases/download/b9222/llama-b9222-bin-910b-openEuler-aarch64-aclgraph.tar.gz)
SHA-256 체크섬 확인됨
GitHub 공식 Release 페이지에서 추출된 체크섬
SHA256 체크섬
f96935e7e385e3b2d0189239077c10fe8fd7e95690fea4afec455b1b6c7e3f18이 체크섬은 GitHub Release 페이지에서 추출되었습니다. 다운로드 후 파일 무결성을 확인하세요.
이 플랫폼의 모든 SHA-256 체크섬은 프로젝트의 공식 GitHub Release 페이지에서 추출되었으며, 어떠한 변경도 없습니다. GitHub Releases 페이지에서 직접 검증할 수 있습니다.
오픈소스 투명성
GitHub 소스 보기제거 정보
brew로 설치하면 `brew uninstall llama.cpp`; nix로 설치하면 `nix profile remove llama.cpp`; 수동으로 다운로드한 패키지는 실행 가능한 파일과 `~/.cache/llama.cpp` 캐시 디렉토리를 직접 삭제할 수 있습니다.
추가 의존성 없음
다운로드 후 바로 사용 가능. 추가 런타임이 필요하지 않습니다.