3 open source tools found
一条命令在本地跑大模型，简单到离谱。
在本地一键运行和管理大语言模型的开源工具，支持多种平台和丰富模型。
本地运行大语言模型的最轻量引擎，不用装 PyTorch，省内存！
纯 C/C++ 的高性能大模型推理引擎，支持低比特量化与多种硬件（Apple Silicon、CUDA、Vulkan 等），轻量可嵌入。
一句话启动完整本地LLM栈，省去手动配置烦恼。
一键搭建本地大模型全家桶，命令行加图形界面，零配置开箱即用。