Quantization

llama.cpp

ローカルで大規模言語モデルを実行するための最も軽量なエンジン、PyTorchをインストールする必要はなく、メモリも節約！

純粋なC/C++による高性能大規模モデル推論エンジン。低ビット量子化および多種ハードウェア（Apple Silicon、CUDA、Vulkanなど）をサポート。軽量で組込み可能。