omlx
SHA-256专为 Mac 优化的 LLM 推理引擎，支持连续批处理和智能缓存，菜单栏一键管理。
Mac上本地跑大模型的最顺手工具，菜单栏控制，缓存智能。
주요 기능
- 菜单栏直接管控模型加载/卸载/切换
- 热-冷两级 KV 缓存：常用内容存内存，冷门存硬盘，重启不丢
- 连续批处理：高效处理多个同时请求
- 多模型共跑：文本、视觉、嵌入模型一台服务器搞定
- 每个模型独立配置：别名、超时、固定加载等
할 수 없는 것
- •仅支持 Apple Silicon（M1/M2/M3/M4），需要 macOS 15.0+ (Sequoia)。不支持 NVIDIA GPU 或 Intel Mac。首次运行需下载模型，请确保磁盘空间充足。
사용 사례
- 在 MacBook 上本地运行开源大模型，保护隐私
- 配合 Claude Code、Cursor 等工具加速编码
- 无网环境或低延迟要求的 AI 推理场景
oMLX 是为 Apple Silicon Mac 量身打造的本地大模型推理引擎。它通过菜单栏或 Web 后台让你轻松加载和管理多个 AI 模型（文本、视觉、嵌入）。核心创新是“热-冷”两级 KV 缓存：常用上下文留在内存，不活跃的内容自动存到 SSD，甚至重启服务器也能恢复。结合连续批处理技术，能高效处理多路并发请求。应用自动识别模型文件夹，支持为每个模型单独配置（超时时间、固定加载、别名），还能适配 Claude Code 等工具。完全离线运行，无需云端依赖。
태그
시작하기
소프트웨어 설치
다운로드한 dmg 파일을 열고 앱을 Applications로 드래그
从 Releases 下载 .dmg 文件，拖入 Applications 文件夹
启动 oMLX，按欢迎向导设置模型目录并启动服务器
选择并下载第一个模型，开始使用（默认端口 8000）
- 从 Releases 下载 .dmg 文件，拖入 Applications 文件夹
- 启动 oMLX，按欢迎向导设置模型目录并启动服务器
- 选择并下载第一个模型，开始使用（默认端口 8000）
SHA-256 체크섬 확인됨
GitHub 공식 Release 페이지에서 추출된 체크섬
SHA256 체크섬
803d999247af13bc778ce623db6ef539266a82e35ccd984a80a40b0dc2a45114이 체크섬은 GitHub Release 페이지에서 추출되었습니다. 다운로드 후 파일 무결성을 확인하세요.
이 플랫폼의 모든 SHA-256 체크섬은 프로젝트의 공식 GitHub Release 페이지에서 추출되었으며, 어떠한 변경도 없습니다. GitHub Releases 페이지에서 직접 검증할 수 있습니다.
오픈소스 투명성
GitHub 소스 보기제거 정보
从 Applications 删除 oMLX.app，再删除 ~/.omlx 文件夹（清除模型和配置）。
추가 의존성 없음
다운로드 후 바로 사용 가능. 추가 런타임이 필요하지 않습니다.
문제 발생? 아래 FAQ 확인
4 FAQs