Quantization

llama.cpp

本地运行大语言模型的最轻量引擎，不用装 PyTorch，省内存！

纯 C/C++ 的高性能大模型推理引擎，支持低比特量化与多种硬件（Apple Silicon、CUDA、Vulkan 等），轻量可嵌入。