外观
vLLM 高性能推理部署指南
vLLM 是一个高性能的大语言模型推理和服务框架,通过创新的 PagedAttention 算法实现了卓越的推理性能。本指南将详细介绍如何部署和使用 vLLM。
概述
什么是 vLLM?
vLLM 是由 UC Berkeley 开发的大语言模型推理引擎,具有以下核心特性:
- PagedAttention:创新的注意力算法,显著提升推理性能
- 高吞吐量:支持连续批处理,最大化 GPU 利用率
- 内存高效:优化的 KV 缓存管理,支持更大批次
- 兼容性强:支持多种主流模型架构
- API 兼容:提供 OpenAI 兼容的 API 接口
核心优势
性能对比
与传统推理框架相比,vLLM 在吞吐量上有显著提升:
| 框架 | 吞吐量 (tokens/s) | 延迟 (ms) | 内存效率 |
|---|---|---|---|
| vLLM | 14x - 24x | 低 | 高 |
| HuggingFace | 1x | 中 | 中 |
| TGI | 2x - 4x | 低 | 中 |
PagedAttention 原理
PagedAttention 受操作系统虚拟内存管理启发,将 KV 缓存划分为固定大小的块(pages),按需分配,避免内存碎片,提高内存利用率。
适用场景
- 大规模在线推理服务
- 高并发 API 服务
- 批处理推理任务
- 生产环境部署
环境要求
硬件要求
最低配置
- GPU: NVIDIA GPU(计算能力 7.0+)
- 显存: 16GB(运行 7B 模型)
- 内存: 32GB
- 存储: 50GB SSD
推荐配置
- GPU: NVIDIA A100/A800 或 H100/H800
- 显存: 40GB+(运行 13B 模型)或 80GB+(运行 70B 模型)
- 内存: 64GB+
- 存储: 500GB NVMe SSD
模型显存需求
| 模型大小 | FP16 显存 | INT8 显存 | INT4 显存 |
|---|---|---|---|
| 7B | 14GB | 8GB | 5GB |
| 13B | 26GB | 14GB | 8GB |
| 34B | 68GB | 36GB | 20GB |
| 70B | 140GB | 72GB | 40GB |
软件要求
- 操作系统: Linux (Ubuntu 18.04+)
- Python: 3.8 - 3.11
- CUDA: 11.8+ 或 12.1+
- PyTorch: 2.0+
安装步骤
方法一:pip 安装(推荐)
bash
pip install vllm方法二:从源码安装
bash
git clone https://github.com/vllm-project/vllm.git
cd vllm
pip install -e .方法三:Docker 安装
bash
docker pull vllm/vllm-openai:latest验证安装
bash
python -c "import vllm; print(vllm.__version__)"快速开始
基础使用
离线推理
python
from vllm import LLM, SamplingParams
prompts = [
"你好,请介绍一下自己",
"什么是机器学习?",
"请用Python写一个快速排序算法",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=128)
llm = LLM(model="lmsys/vicuna-7b-v1.5")
outputs = llm.generate(prompts, sampling_params)
for output in outputs:
prompt = output.prompt
generated_text = output.outputs[0].text
print(f"Prompt: {prompt!r}")
print(f"Generated text: {generated_text!r}")
print("-" * 50)在线服务
启动 OpenAI 兼容的 API 服务器:
bash
python -m vllm.entrypoints.openai.api_server \
--model lmsys/vicuna-7b-v1.5 \
--host 0.0.0.0 \
--port 8000使用 curl 测试:
bash
curl http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "lmsys/vicuna-7b-v1.5",
"prompt": "你好,请介绍一下自己",
"max_tokens": 128,
"temperature": 0.7
}'模型加载
HuggingFace 模型
python
from vllm import LLM
llm = LLM(model="lmsys/vicuna-7b-v1.5")本地模型
python
from vllm import LLM
llm = LLM(model="/path/to/local/model")多 GPU 加载
python
from vllm import LLM
llm = LLM(
model="lmsys/vicuna-13b-v1.5",
tensor_parallel_size=2
)量化模型
python
from vllm import LLM
llm = LLM(
model="TheBloke/vicuna-7B-v1.5-GPTQ",
quantization="gptq",
dtype="float16"
)API 服务
OpenAI 兼容 API
Completions API
bash
curl http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "lmsys/vicuna-7b-v1.5",
"prompt": "解释量子计算",
"max_tokens": 256,
"temperature": 0.7,
"top_p": 0.9,
"n": 1,
"stream": false
}'Chat Completions API
bash
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "lmsys/vicuna-7b-v1.5",
"messages": [
{"role": "system", "content": "你是一个有帮助的AI助手。"},
{"role": "user", "content": "什么是深度学习?"}
],
"max_tokens": 256,
"temperature": 0.7
}'流式响应
bash
curl http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "lmsys/vicuna-7b-v1.5",
"prompt": "写一首关于春天的诗",
"max_tokens": 256,
"stream": true
}'Python SDK
python
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="dummy"
)
response = client.completions.create(
model="lmsys/vicuna-7b-v1.5",
prompt="你好,请介绍一下自己",
max_tokens=128,
temperature=0.7
)
print(response.choices[0].text)性能优化
PagedAttention 配置
python
from vllm import LLM
llm = LLM(
model="lmsys/vicuna-7b-v1.5",
block_size=16,
gpu_memory_utilization=0.9
)批处理优化
python
from vllm import LLM, SamplingParams
prompts = [
"问题1",
"问题2",
"问题3",
]
sampling_params = SamplingParams(
temperature=0.7,
top_p=0.9,
max_tokens=128,
use_beam_search=False
)
llm = LLM(
model="lmsys/vicuna-7b-v1.5",
max_num_batched_tokens=8192,
max_num_seqs=256
)
outputs = llm.generate(prompts, sampling_params)GPU 内存优化
python
from vllm import LLM
llm = LLM(
model="lmsys/vicuna-7b-v1.5",
gpu_memory_utilization=0.85,
max_model_len=2048,
enforce_eager=True
)多 GPU 并行
张量并行
python
from vllm import LLM
llm = LLM(
model="lmsys/vicuna-13b-v1.5",
tensor_parallel_size=2
)流水线并行
python
from vllm import LLM
llm = LLM(
model="lmsys/vicuna-70b-v1.5",
pipeline_parallel_size=4
)高级配置
采样参数
python
from vllm import SamplingParams
sampling_params = SamplingParams(
n=1,
best_of=1,
presence_penalty=0.0,
frequency_penalty=0.0,
temperature=1.0,
top_p=1.0,
top_k=-1,
use_beam_search=False,
length_penalty=1.0,
early_stopping=False,
stop=None,
stop_token_ids=None,
ignore_eos=False,
max_tokens=16,
min_tokens=0,
logprobs=None,
prompt_logprobs=None,
skip_special_tokens=True,
spaces_between_special_tokens=True
)自定义模型
python
from vllm import LLM
llm = LLM(
model="/path/to/model",
tokenizer="/path/to/tokenizer",
tokenizer_mode="auto",
trust_remote_code=True,
dtype="float16",
seed=0
)服务配置
bash
python -m vllm.entrypoints.openai.api_server \
--model lmsys/vicuna-7b-v1.5 \
--host 0.0.0.0 \
--port 8000 \
--max-model-len 2048 \
--gpu-memory-utilization 0.9 \
--tensor-parallel-size 1 \
--max-num-seqs 256 \
--disable-log-stats监控与运维
性能监控
python
from vllm import LLM
llm = LLM(model="lmsys/vicuna-7b-v1.5")
stats = llm.llm_engine.stats
print(f"平均延迟: {stats.time_per_iteration_ms} ms")
print(f"吞吐量: {stats.tokens_per_second} tokens/s")日志配置
python
import logging
from vllm import LLM
logging.basicConfig(level=logging.INFO)
llm = LLM(model="lmsys/vicuna-7b-v1.5")健康检查
bash
curl http://localhost:8000/healthKubernetes 部署
Deployment 配置
yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: vllm-deployment
spec:
replicas: 1
selector:
matchLabels:
app: vllm
template:
metadata:
labels:
app: vllm
spec:
containers:
- name: vllm
image: vllm/vllm-openai:latest
args:
- --model
- lmsys/vicuna-7b-v1.5
- --host
- "0.0.0.0"
- --port
- "8000"
- --tensor-parallel-size
- "2"
resources:
limits:
nvidia.com/gpu: 2
requests:
nvidia.com/gpu: 2
ports:
- containerPort: 8000
volumeMounts:
- name: model-cache
mountPath: /root/.cache
volumes:
- name: model-cache
persistentVolumeClaim:
claimName: model-cache-pvcService 配置
yaml
apiVersion: v1
kind: Service
metadata:
name: vllm-service
spec:
selector:
app: vllm
ports:
- protocol: TCP
port: 8000
targetPort: 8000
type: LoadBalancer常见问题
1. GPU 内存不足
问题: OOM (Out of Memory) 错误
解决方案:
python
llm = LLM(
model="lmsys/vicuna-7b-v1.5",
gpu_memory_utilization=0.8,
max_model_len=2048,
enforce_eager=True
)2. 模型加载失败
问题: 模型下载或加载失败
解决方案:
bash
export HF_ENDPOINT=https://hf-mirror.com
export TRANSFORMERS_CACHE=/path/to/cache3. 性能不佳
问题: 推理速度慢
解决方案:
- 增大批处理大小
- 使用张量并行
- 优化 GPU 内存利用率
- 使用量化模型
4. API 超时
问题: 请求超时
解决方案:
bash
curl --max-time 300 http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{...}'最佳实践
1. 模型选择
- 开发测试: 使用 7B 模型
- 生产环境: 根据需求选择 13B 或更大模型
- 资源受限: 使用量化模型
2. 性能调优
- 合理设置
gpu_memory_utilization - 优化
max_num_seqs和max_num_batched_tokens - 使用张量并行提升吞吐量
3. 资源管理
- 监控 GPU 使用情况
- 设置合理的请求超时
- 实现请求队列管理
4. 高可用部署
- 使用 Kubernetes 部署
- 配置健康检查
- 实现自动扩缩容
参考资料
官方资源
相关教程
提示
vLLM 在高吞吐量场景下性能优异,特别适合生产环境的大规模推理服务。
信息
本指南基于 vLLM 最新版本编写,建议定期更新以获得最新功能和性能优化。
