forge
SHA-256自托管 LLM 工具调用可靠性层，让本地小模型表现媲美大模型，支持代理模式，兼容 OpenAI 和 Anthropic。
让大模型工具调用更稳，实测提升巨大，还能当代理用。
核心功能
- 三种使用方式：代理服务器、WorkflowRunner、中间件，灵活适配现有项目
- 内置护栏机制，自动修复模型输出的格式错误并重试，无需额外配置
- 兼容 OpenAI 和 Anthropic API，可直接对接 opencode、Claude Code 等现有工具
- 支持 Ollama、llama.cpp、vLLM 等多种本地推理后端，并可自动管理后端进程
避坑指南
- •Forge 不是智能体编排器，不适合构建多智能体协作或 DAG 任务流，专注单个循环内的可靠性
- •不是编程工具，如果要开发 coding agent 请用专业框架，Forge 可作代理层增强它们
- •Anthropic 的实测数据来自早前版本，最新版本未重新跑，因为成本较高
- •本地小模型效果取决于硬件和模型选择，推荐使用 Ministral-3-8B 并参考模型指南
适用场景
- 给现有 Claude Code 或 opencode 等工具接入本地模型，同时获得可靠的工具调用能力
- 开发自定义智能体工作流，需要稳定的多步工具调用和上下文管理
详细介绍
Forge 是一个 Python 框架，专注于让自托管 LLM 的工具调用和多步智能体工作流变得可靠。你只需提供一组工具，模型可以自由选择调用顺序；如需约束，可通过 required_steps、prerequisites 和 terminal_tool 可选开启。其护栏机制（救援解析、重试提示、响应验证）即使不设置任何必需步骤也能生效。Forge 不是智能体编排器，也不是编码工具，而是嵌入单个智能体循环内，让工具调用稳定可靠。它支持三种使用方式：作为代理服务器（兼容 OpenAI 和 Anthropic 协议）直接为现有工具（如 opencode、Claude Code）增强能力；作为 WorkflowRunner 构建流程；或作为中间件集成到自有循环中。相比通用智能体框架，Forge 专注可靠性，实测可将 8B 本地模型准确率提升至 84%，甚至把 Claude Sonnet 4.6 从 85% 提升到 98%，且无需重写现有代码。
标签
快速上手
安装软件
双击下载的安装程序，按提示完成安装
使用 pip 安装 Python 包：pip install forge-guardrails
启动本地模型后端（如 llama-server 或 Ollama）
将客户端 API 地址指向代理端口 8081，运行 python -m forge.proxy
- 使用 pip 安装 Python 包：pip install forge-guardrails
- 启动本地模型后端（如 llama-server 或 Ollama）
- 将客户端 API 地址指向代理端口 8081，运行 python -m forge.proxy
已提供 SHA-256 校验码，下载后可自行核对文件完整性
该校验码提取自 GitHub 官方 Release 页面
SHA256 校验码
c49654ccac62c51335e501f3a491d8f39007c8c25790b7a85ce0f251a5a1d252该校验码提取自 GitHub Release 页面，下载后请自行核对文件完整性
本平台所有 SHA-256 校验码均提取自项目在 GitHub 官方 Release 页面发布的文件，未做任何修改。你可以通过 GitHub Releases 页面自行验证。
开源透明
查看 GitHub 源码卸载说明
若通过 pip 安装，执行 pip uninstall forge-guardrails 即可。若使用独立代理，请删除安装脚本生成的二进制文件和配置目录（如 ~/.forge-proxy）。
无额外依赖
下载后即可直接使用，无需安装其他运行环境