vllm
SHA-256高スループットで省VRAMの大規模モデル推論・サービングエンジン。たった1つのコマンドでOpenAI API互換のプライベートモデルサービスを構築できます。
スマートダウンロード
Download 版をダウンロード
v0.32.0 · 28.5 MB
たった1つのコマンドで、大規模モデルを API サービスとして実行できます。
主な機能
- PagedAttention の VRAM ページング技術により、メモリを管理するのと同じように VRAM を管理し、無駄を大幅に削減
- 連続バッチ処理とストリーミング出力により、同時実行スループットは業界トップクラス
- OpenAI 互換の API サービスを内蔵し、既存のアプリケーションをそのまま接続可能
- FP8、INT8、INT4、GPTQ/AWQ、GGUF などの主要な量子化手法をサポートし、VRAM を節約しながらコストを削減
- Llama、Qwen、DeepSeek など 200 種類以上のモデルアーキテクチャをカバーし、Hugging Face エコシステムとシームレスに互換
できないこと
- •vLLM は開発者向けのインフラストラクチャであり、すぐに使えるチャットソフトウェアではなく、グラフィカルインターフェースも備えていないため、コマンドラインとプログラミングの基礎知識が必要です。推論のデプロイメントのみを担い、モデルのトレーニングやファインチューニングには使用できません。理想的な速度を得るには比較的新しい NVIDIA グラフィックスカードが必要で、量子化した後でも、大規模モデルのVRAMに対する要求は依然として高いままです。Windows のサポートは Linux ほど充実しておらず、CPU のみでの実行速度は限られているため、一般的な個人向けPCでの日常的な使用には適していません。
使用例
- 企業が自社で構築するプライベートなChatGPTライクな対話・ナレッジベースサービス
- 高並行性アプリケーションに安定した大規模モデルAPIバックエンドを提供
- Embedding、報酬モデル、マルチモーダルモデルのバッチ推論
- 単一のGPUで量子化されたオープンソースモデルを低コストでデプロイ
vLLM はカリフォルニア大学バークレー校発の、高スループットで省VRAMの大規模モデル推論エンジンである。中核技術である PagedAttention は、OSの仮想メモリの考え方を応用してVRAMを管理し、無駄を大幅に削減する。連続バッチ処理、プレフィックスキャッシュ、投機的サンプリングと組み合わせることで、スループットは業界をリードしている。FP8、INT4、GPTQ/AWQ などの主流量子化手法をサポートし、Llama、Qwen、DeepSeek など 200 以上のモデルに対応しており、1つのコマンドで OpenAI 互換 API のサービスを起動できる。TGI と比較してスループットが高く、TensorRT-LLM と比較してデプロイが簡単であり、大規模モデルのプライベートデプロイにおけるデファクトスタンダードとなっている。
タグ
はじめ方
ソフトウェアをインストール
ダウンロードした dmg ファイルを開き、アプリを Applications にドラッグ
Python 3.9 以上のバージョンがインストールされており、最新ドライバーを搭載した NVIDIA グラフィックスカードが装備されていることを確認してください
pip install vllm（推奨は uv pip install vllm）を実行してインストールを完了します
vllm download-kernels を実行してコンパイル済みのカーネルを事前にダウンロードし、初回起動を高速化します
- Python 3.9 以上のバージョンがインストールされており、最新ドライバーを搭載した NVIDIA グラフィックスカードが装備されていることを確認してください
- pip install vllm（推奨は uv pip install vllm）を実行してインストールを完了します
- vllm download-kernels を実行してコンパイル済みのカーネルを事前にダウンロードし、初回起動を高速化します
SHA-256 チェックサム確認済み
GitHub 公式 Release ページから抽出されたチェックサム
SHA256 チェックサム
9918be806fb2808c406547ff4f9f43870ac6ff28dc4b179291fcf532145bb50bこのチェックサムは GitHub Release ページから抽出されたものです。ダウンロード後にファイルの整合性を確認してください。
本プラットフォーム上のすべての SHA-256 チェックサムは、プロジェクトの公式 GitHub Release ページから抽出されたもので、一切の改変はありません。GitHub Releases ページで独自に検証できます。
オープンソースの透明性
GitHub ソースを見るアンインストール情報
pip uninstall vllm を実行すればアンインストールできます。uv でインストールした場合は、uv pip uninstall vllm を実行してください。完全にクリーンアップする必要がある場合は、~/.cache/vllm ディレクトリにキャッシュされたカーネルとモデルファイル、および Hugging Face のモデルキャッシュディレクトリを削除できます。
追加の依存関係なし
ダウンロード後すぐに使用可能。追加のランタイムは不要です。
問題が発生？以下のFAQを確認
5 FAQs
類似プロジェクト
ollama
ローカルで大規模言語モデル（LLM）をワンクリックで実行・管理するオープンソースツール。複数のプラットフォームと豊富なモデルに対応しています。
ComfyUI
ComfyUI はモジュール式の AI 創作エンジンであり、ノードグラフインターフェースを通じて、積み木を組み立てるように画像、動画、3D、オーディオを生成できます。従来の WebUI よりも柔軟で効率的であり、プロフェッショナルや自動化パイプラインに適しています。
llama.cpp
純粋なC/C++による高性能大規模モデル推論エンジン。低ビット量子化および多種ハードウェア（Apple Silicon、CUDA、Vulkanなど）をサポート。軽量で組込み可能。