Inference

llama.cpp

로컬에서 대규모 언어 모델을 실행하는 가장 가벼운 엔진, PyTorch 설치 필요 없음, 메모리 절약!

순수 C/C++ 기반의 고성능 대규모 모델 추론 엔진으로, 저비트 양자화 및 다양한 하드웨어(Apple Silicon, CUDA, Vulkan 등)를 지원하며, 경량화되어 임베딩이 가능합니다.