Magnitude
SHA-256Magnitude 是一个开源本地推理服务器,它会自动分析你的硬件,推荐并运行最合适的本地模型,并接入你正在使用的 AI 智能体(Pi、OpenCode、Claude Code 等),实现完全免费、私密、离线的 AI 体验。
让现有 AI 智能体直接跑在本地模型上,免费用、能离线、自动适配硬件。
核心功能
- 硬件自动检测与模型推荐:分析芯片、内存和带宽,估算每秒 token 数,避免盲目选择
- 即开即用的智能体接入:支持 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline
- 按需加载与自动释放:模型使用时才加载,空闲或内存紧张时自动卸载
- 完全私密且可离线:提示词、文件与模型都留在本机,无需联网
- 端到端调优:自动开启推测解码、并发优化,为智能体工作负载调优
避坑指南
- •不支持 Windows 原生环境,需使用 WSL(Linux 子系统)
- •没有固定最低硬件要求,但内存越大能运行的模型越大;推荐电脑需要足够的统一内存或显存
- •虽然支持离线使用,但首次安装和下载模型时仍需联网
- •模型数量和生态不如 Ollama 丰富,但可用任何 GGUF 格式的 Hugging Face 模型补充
- •适合追踪最新版本,因为项目迭代快,API 和 CLI 可能变化
适用场景
- 希望使用本地模型替代闭源 API、保护隐私并避免 token 费用的个人开发者
- 已有 Pi、Codex、Claude Code 等智能体,但不想修改工作流、想直接切换到本地模型的用户
Magnitude 是一款开源推理服务器,能根据你的硬件自动选择并运行最合适的本地模型,并直接接入你正在使用的 AI 智能体(支持 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline)。与 Ollama 等仅简单运行模型的工具不同,Magnitude 不靠猜测:它会先评估你的芯片、内存和带宽,再推荐匹配的模型并预估每秒 token 数,然后自动下载、调优(包括推测解码和并发设置),并针对智能体负载做优化。模型按需加载,空闲或内存紧张时自动卸载;所有提示词、文件均保留在本地,可全离线运行。设置非常智能:只需告诉你的智能体安装 CLI 并执行 `magnitude docs onboarding`,它会引导你完成全部配置。支持 macOS、Linux 以及通过 WSL 使用 Windows。开源协议为 Apache 2.0。
标签
快速上手
安装软件
双击下载的安装程序,按提示完成安装
安装 Magnitude CLI:在终端执行 `npm i -g @magnitudedev/cli`(macOS/Linux,Windows 请用 WSL)
启动引导:执行 `magnitude setup` 进入交互式配置,或直接把 README 里的提示词发给你的智能体让它自动帮你操作
选择模型并接入:根据硬件推荐挑选模型,Magnitude 会自动下载、调优,并将你的智能体(如 Claude Code)切换到该本地模型
- 安装 Magnitude CLI:在终端执行 `npm i -g @magnitudedev/cli`(macOS/Linux,Windows 请用 WSL)
- 启动引导:执行 `magnitude setup` 进入交互式配置,或直接把 README 里的提示词发给你的智能体让它自动帮你操作
- 选择模型并接入:根据硬件推荐挑选模型,Magnitude 会自动下载、调优,并将你的智能体(如 Claude Code)切换到该本地模型
已提供 SHA-256 校验码,下载后可自行核对文件完整性
该校验码提取自 GitHub 官方 Release 页面
SHA256 校验码
98f2a0afd5b1adf464fbfd093372899eed9cca48361514d73c49922fbf82ecd9该校验码提取自 GitHub Release 页面,下载后请自行核对文件完整性
本平台所有 SHA-256 校验码均提取自项目在 GitHub 官方 Release 页面发布的文件,未做任何修改。你可以通过 GitHub Releases 页面自行验证。
开源透明
查看 GitHub 源码卸载说明
运行 `npm uninstall -g @magnitudedev/cli` 卸载命令行工具;如需彻底清除模型缓存,请删除 Magnitude 的数据目录(通常为 ~/.magnitude),并移除智能体配置中指向 Magnitude 的后端设置。
无额外依赖
下载后即可直接使用,无需安装其他运行环境
遇到问题?查看下方 FAQ
5 FAQs