vllm
SHA-256고처리량, VRAM 절약형 대규모 모델 추론 및 서빙 엔진으로, 명령어 하나만으로 OpenAI 인터페이스와 호환되는 프라이빗 모델 서비스를 구축할 수 있습니다.
명령어 하나로 대규모 모델을 API 서비스로 실행하세요.
주요 기능
- PagedAttention 메모리 페이징 기술로 메모리를 관리하듯 VRAM을 관리하여 낭비를 크게 줄임
- 연속 배치 처리와 스트리밍 출력으로 동시 처리량 업계 최고 수준
- OpenAI 호환 API 서비스 내장, 기존 애플리케이션과 바로 연동 가능
- FP8, INT8, INT4, GPTQ/AWQ, GGUF 등 주요 양자화 방식 지원, VRAM 절약 및 비용 절감
- Llama, Qwen, DeepSeek 등 200여 가지 모델 아키텍처 지원, Hugging Face 생태계와 완벽 호환
할 수 없는 것
- •vLLM은 개발자를 위한 인프라이지, 바로 사용할 수 있는 채팅 소프트웨어가 아니며, 그래픽 인터페이스가 없고 명령줄과 프로그래밍 기초 지식이 필요합니다. 추론 배포만 담당하며 모델을 학습하거나 미세 조정하는 데는 사용할 수 없습니다. 이상적인 속도를 얻으려면 최신 NVIDIA 그래픽 카드가 필요하며, 양자화를 적용하더라도 대규모 모델의 VRAM 요구 사항은 여전히 높습니다. Windows 지원은 Linux만큼 완벽하지 않으며, CPU만으로 실행하면 속도가 제한적이어서 일반 개인용 컴퓨터에서 일상적으로 사용하기에는 적합하지 않습니다.
사용 사례
- 기업이 자체 구축하는 프라이빗 ChatGPT 유사 대화 및 지식베이스 서비스
- 고동시성 애플리케이션에 안정적인 대규모 모델 API 백엔드 제공
- Embedding, 보상 모델 또는 멀티모달 모델의 배치 추론
- 단일 GPU에서 양자화된 오픈 소스 모델을 저비용으로 배포
vLLM은 캘리포니아 대학교 버클리 캠퍼스에서 탄생한 고처리량·저VRAM 대규모 언어 모델 추론 엔진입니다. 핵심 기술인 PagedAttention은 운영체제의 가상 메모리 개념을 차용해 VRAM을 관리함으로써 낭비를 크게 줄였으며, 연속 배치 처리(continuous batching), 프리픽스 캐싱(prefix caching), 추측 샘플링(speculative sampling)을 결합해 업계 최고 수준의 처리량을 자랑합니다. FP8, INT4, GPTQ/AWQ 등 주류 양자화 방식을 지원하고, Llama, Qwen, DeepSeek 등 200여 가지 모델과 호환되며, 명령어 하나로 OpenAI 인터페이스 호환 서비스를 시작할 수 있습니다. TGI보다 처리량이 높고, TensorRT-LLM보다 배포가 간단하여, 프라이빗 환경에서 대규모 언어 모델을 배포하기 위한 사실상의 표준입니다.
태그
시작하기
소프트웨어 설치
다운로드한 dmg 파일을 열고 앱을 Applications로 드래그
Python 3.9 이상 버전이 설치되어 있고, 최신 드라이버가 적용된 NVIDIA 그래픽 카드를 갖추고 있는지 확인하세요
pip install vllm 실행(uv pip install vllm 권장)으로 설치를 완료하세요
vllm download-kernels를 실행하여 컴파일된 커널을 미리 다운로드하면 첫 시작 속도를 높일 수 있습니다
- Python 3.9 이상 버전이 설치되어 있고, 최신 드라이버가 적용된 NVIDIA 그래픽 카드를 갖추고 있는지 확인하세요
- pip install vllm 실행(uv pip install vllm 권장)으로 설치를 완료하세요
- vllm download-kernels를 실행하여 컴파일된 커널을 미리 다운로드하면 첫 시작 속도를 높일 수 있습니다
SHA-256 체크섬 확인됨
GitHub 공식 Release 페이지에서 추출된 체크섬
SHA256 체크섬
9918be806fb2808c406547ff4f9f43870ac6ff28dc4b179291fcf532145bb50b이 체크섬은 GitHub Release 페이지에서 추출되었습니다. 다운로드 후 파일 무결성을 확인하세요.
이 플랫폼의 모든 SHA-256 체크섬은 프로젝트의 공식 GitHub Release 페이지에서 추출되었으며, 어떠한 변경도 없습니다. GitHub Releases 페이지에서 직접 검증할 수 있습니다.
오픈소스 투명성
GitHub 소스 보기제거 정보
pip uninstall vllm을 실행하면 제거됩니다. uv로 설치한 경우 uv pip uninstall vllm을 실행하세요. 완전히 정리하려면 ~/.cache/vllm 디렉토리에 캐시된 커널 및 모델 파일과 Hugging Face의 모델 캐시 디렉토리를 삭제하면 됩니다.
추가 의존성 없음
다운로드 후 바로 사용 가능. 추가 런타임이 필요하지 않습니다.
문제 발생? 아래 FAQ 확인
5 FAQs
유사한 프로젝트
ollama
로컬에서 대규모 언어 모델을 원클릭으로 실행하고 관리할 수 있는 오픈소스 도구로, 다양한 플랫폼과 풍부한 모델을 지원합니다.
ComfyUI
ComfyUI는 모듈식 AI 창작 엔진으로, 노드 그래프 인터페이스를 통해 블록을 조립하듯 이미지, 비디오, 3D 및 오디오를 생성할 수 있습니다. 기존 WebUI보다 더 유연하고 효율적이며, 전문가와 자동화 파이프라인에 적합합니다.
llama.cpp
순수 C/C++ 기반의 고성능 대규모 모델 추론 엔진으로, 저비트 양자화 및 다양한 하드웨어(Apple Silicon, CUDA, Vulkan 등)를 지원하며, 경량화되어 임베딩이 가능합니다.