omlx
SHA-256专为 Mac 优化的 LLM 推理引擎，支持连续批处理和智能缓存，菜单栏一键管理。
スマートダウンロード
Download 版をダウンロード
v0.3.8 · 616.1 MB
Mac上本地跑大模型的最顺手工具，菜单栏控制，缓存智能。
主な機能
- 菜单栏直接管控模型加载/卸载/切换
- 热-冷两级 KV 缓存：常用内容存内存，冷门存硬盘，重启不丢
- 连续批处理：高效处理多个同时请求
- 多模型共跑：文本、视觉、嵌入模型一台服务器搞定
- 每个模型独立配置：别名、超时、固定加载等
できないこと
- •仅支持 Apple Silicon（M1/M2/M3/M4），需要 macOS 15.0+ (Sequoia)。不支持 NVIDIA GPU 或 Intel Mac。首次运行需下载模型，请确保磁盘空间充足。
使用例
- 在 MacBook 上本地运行开源大模型，保护隐私
- 配合 Claude Code、Cursor 等工具加速编码
- 无网环境或低延迟要求的 AI 推理场景
oMLX 是为 Apple Silicon Mac 量身打造的本地大模型推理引擎。它通过菜单栏或 Web 后台让你轻松加载和管理多个 AI 模型（文本、视觉、嵌入）。核心创新是“热-冷”两级 KV 缓存：常用上下文留在内存，不活跃的内容自动存到 SSD，甚至重启服务器也能恢复。结合连续批处理技术，能高效处理多路并发请求。应用自动识别模型文件夹，支持为每个模型单独配置（超时时间、固定加载、别名），还能适配 Claude Code 等工具。完全离线运行，无需云端依赖。
タグ
はじめ方
ソフトウェアをインストール
ダウンロードした dmg ファイルを開き、アプリを Applications にドラッグ
从 Releases 下载 .dmg 文件，拖入 Applications 文件夹
启动 oMLX，按欢迎向导设置模型目录并启动服务器
选择并下载第一个模型，开始使用（默认端口 8000）
- 从 Releases 下载 .dmg 文件，拖入 Applications 文件夹
- 启动 oMLX，按欢迎向导设置模型目录并启动服务器
- 选择并下载第一个模型，开始使用（默认端口 8000）
SHA-256 チェックサム確認済み
GitHub 公式 Release ページから抽出されたチェックサム
SHA256 チェックサム
803d999247af13bc778ce623db6ef539266a82e35ccd984a80a40b0dc2a45114このチェックサムは GitHub Release ページから抽出されたものです。ダウンロード後にファイルの整合性を確認してください。
本プラットフォーム上のすべての SHA-256 チェックサムは、プロジェクトの公式 GitHub Release ページから抽出されたもので、一切の改変はありません。GitHub Releases ページで独自に検証できます。
オープンソースの透明性
GitHub ソースを見るアンインストール情報
从 Applications 删除 oMLX.app，再删除 ~/.omlx 文件夹（清除模型和配置）。
追加の依存関係なし
ダウンロード後すぐに使用可能。追加のランタイムは不要です。
問題が発生？以下のFAQを確認
4 FAQs