O
omlx
SHA-25613.8k stars·AI 生产力·已提供 SHA-256 校验码，下载后可自行核对文件完整性
专为 Mac 优化的 LLM 推理引擎，支持连续批处理和智能缓存，菜单栏一键管理。
Mac上本地跑大模型的最顺手工具，菜单栏控制，缓存智能。
核心功能
- 菜单栏直接管控模型加载/卸载/切换
- 热-冷两级 KV 缓存：常用内容存内存，冷门存硬盘，重启不丢
- 连续批处理：高效处理多个同时请求
- 多模型共跑：文本、视觉、嵌入模型一台服务器搞定
- 每个模型独立配置：别名、超时、固定加载等
避坑指南
- •仅支持 Apple Silicon（M1/M2/M3/M4），需要 macOS 15.0+ (Sequoia)。不支持 NVIDIA GPU 或 Intel Mac。首次运行需下载模型，请确保磁盘空间充足。
适用场景
- 在 MacBook 上本地运行开源大模型，保护隐私
- 配合 Claude Code、Cursor 等工具加速编码
- 无网环境或低延迟要求的 AI 推理场景
oMLX 是为 Apple Silicon Mac 量身打造的本地大模型推理引擎。它通过菜单栏或 Web 后台让你轻松加载和管理多个 AI 模型（文本、视觉、嵌入）。核心创新是“热-冷”两级 KV 缓存：常用上下文留在内存，不活跃的内容自动存到 SSD，甚至重启服务器也能恢复。结合连续批处理技术，能高效处理多路并发请求。应用自动识别模型文件夹，支持为每个模型单独配置（超时时间、固定加载、别名），还能适配 Claude Code 等工具。完全离线运行，无需云端依赖。
标签
LLMMacApple Silicon推理引擎KV缓存本地AI菜单栏管理多模型
快速上手
1
2
安装软件
打开下载的 dmg 文件，将应用拖入 Applications 文件夹
3
从 Releases 下载 .dmg 文件，拖入 Applications 文件夹
4
启动 oMLX，按欢迎向导设置模型目录并启动服务器
5
选择并下载第一个模型，开始使用（默认端口 8000）
安装指引
- 从 Releases 下载 .dmg 文件，拖入 Applications 文件夹
- 启动 oMLX，按欢迎向导设置模型目录并启动服务器
- 选择并下载第一个模型，开始使用（默认端口 8000）
文件完整性
已提供 SHA-256 校验码，下载后可自行核对文件完整性
该校验码提取自 GitHub 官方 Release 页面
SHA256 校验码
803d999247af13bc778ce623db6ef539266a82e35ccd984a80a40b0dc2a45114该校验码提取自 GitHub Release 页面，下载后请自行核对文件完整性
本平台所有 SHA-256 校验码均提取自项目在 GitHub 官方 Release 页面发布的文件，未做任何修改。你可以通过 GitHub Releases 页面自行验证。
开源透明
查看 GitHub 源码运维指引
卸载说明
从 Applications 删除 oMLX.app，再删除 ~/.omlx 文件夹（清除模型和配置）。
无额外依赖
下载后即可直接使用，无需安装其他运行环境
遇到问题？查看下方 FAQ
4 FAQs