Skip to content

vLLM 高性能推理部署指南 ​

vLLM 是一个高性能的大语言模型推理和服务框架,通过创新的 PagedAttention 算法实现了卓越的推理性能。本指南将详细介绍如何部署和使用 vLLM。

概述 ​

什么是 vLLM? ​

vLLM 是由 UC Berkeley 开发的大语言模型推理引擎,具有以下核心特性:

  • PagedAttention:创新的注意力算法,显著提升推理性能
  • 高吞吐量:支持连续批处理,最大化 GPU 利用率
  • 内存高效:优化的 KV 缓存管理,支持更大批次
  • 兼容性强:支持多种主流模型架构
  • API 兼容:提供 OpenAI 兼容的 API 接口

核心优势 ​

性能对比 ​

与传统推理框架相比,vLLM 在吞吐量上有显著提升:

框架吞吐量 (tokens/s)延迟 (ms)内存效率
vLLM14x - 24x低高
HuggingFace1x中中
TGI2x - 4x低中

PagedAttention 原理 ​

PagedAttention 受操作系统虚拟内存管理启发,将 KV 缓存划分为固定大小的块(pages),按需分配,避免内存碎片,提高内存利用率。

适用场景 ​

  • 大规模在线推理服务
  • 高并发 API 服务
  • 批处理推理任务
  • 生产环境部署

环境要求 ​

硬件要求 ​

最低配置 ​

  • GPU: NVIDIA GPU(计算能力 7.0+)
  • 显存: 16GB(运行 7B 模型)
  • 内存: 32GB
  • 存储: 50GB SSD

推荐配置 ​

  • GPU: NVIDIA A100/A800 或 H100/H800
  • 显存: 40GB+(运行 13B 模型)或 80GB+(运行 70B 模型)
  • 内存: 64GB+
  • 存储: 500GB NVMe SSD

模型显存需求 ​

模型大小FP16 显存INT8 显存INT4 显存
7B14GB8GB5GB
13B26GB14GB8GB
34B68GB36GB20GB
70B140GB72GB40GB

软件要求 ​

  • 操作系统: Linux (Ubuntu 18.04+)
  • Python: 3.8 - 3.11
  • CUDA: 11.8+ 或 12.1+
  • PyTorch: 2.0+

安装步骤 ​

方法一:pip 安装(推荐) ​

bash
pip install vllm

方法二:从源码安装 ​

bash
git clone https://github.com/vllm-project/vllm.git
cd vllm
pip install -e .

方法三:Docker 安装 ​

bash
docker pull vllm/vllm-openai:latest

验证安装 ​

bash
python -c "import vllm; print(vllm.__version__)"

快速开始 ​

基础使用 ​

离线推理 ​

python
from vllm import LLM, SamplingParams

prompts = [
    "你好,请介绍一下自己",
    "什么是机器学习?",
    "请用Python写一个快速排序算法",
]

sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=128)

llm = LLM(model="lmsys/vicuna-7b-v1.5")

outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}")
    print(f"Generated text: {generated_text!r}")
    print("-" * 50)

在线服务 ​

启动 OpenAI 兼容的 API 服务器:

bash
python -m vllm.entrypoints.openai.api_server \
    --model lmsys/vicuna-7b-v1.5 \
    --host 0.0.0.0 \
    --port 8000

使用 curl 测试:

bash
curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "lmsys/vicuna-7b-v1.5",
        "prompt": "你好,请介绍一下自己",
        "max_tokens": 128,
        "temperature": 0.7
    }'

模型加载 ​

HuggingFace 模型 ​

python
from vllm import LLM

llm = LLM(model="lmsys/vicuna-7b-v1.5")

本地模型 ​

python
from vllm import LLM

llm = LLM(model="/path/to/local/model")

多 GPU 加载 ​

python
from vllm import LLM

llm = LLM(
    model="lmsys/vicuna-13b-v1.5",
    tensor_parallel_size=2
)

量化模型 ​

python
from vllm import LLM

llm = LLM(
    model="TheBloke/vicuna-7B-v1.5-GPTQ",
    quantization="gptq",
    dtype="float16"
)

API 服务 ​

OpenAI 兼容 API ​

Completions API ​

bash
curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "lmsys/vicuna-7b-v1.5",
        "prompt": "解释量子计算",
        "max_tokens": 256,
        "temperature": 0.7,
        "top_p": 0.9,
        "n": 1,
        "stream": false
    }'

Chat Completions API ​

bash
curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "lmsys/vicuna-7b-v1.5",
        "messages": [
            {"role": "system", "content": "你是一个有帮助的AI助手。"},
            {"role": "user", "content": "什么是深度学习?"}
        ],
        "max_tokens": 256,
        "temperature": 0.7
    }'

流式响应 ​

bash
curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "lmsys/vicuna-7b-v1.5",
        "prompt": "写一首关于春天的诗",
        "max_tokens": 256,
        "stream": true
    }'

Python SDK ​

python
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="dummy"
)

response = client.completions.create(
    model="lmsys/vicuna-7b-v1.5",
    prompt="你好,请介绍一下自己",
    max_tokens=128,
    temperature=0.7
)

print(response.choices[0].text)

性能优化 ​

PagedAttention 配置 ​

python
from vllm import LLM

llm = LLM(
    model="lmsys/vicuna-7b-v1.5",
    block_size=16,
    gpu_memory_utilization=0.9
)

批处理优化 ​

python
from vllm import LLM, SamplingParams

prompts = [
    "问题1",
    "问题2",
    "问题3",
]

sampling_params = SamplingParams(
    temperature=0.7,
    top_p=0.9,
    max_tokens=128,
    use_beam_search=False
)

llm = LLM(
    model="lmsys/vicuna-7b-v1.5",
    max_num_batched_tokens=8192,
    max_num_seqs=256
)

outputs = llm.generate(prompts, sampling_params)

GPU 内存优化 ​

python
from vllm import LLM

llm = LLM(
    model="lmsys/vicuna-7b-v1.5",
    gpu_memory_utilization=0.85,
    max_model_len=2048,
    enforce_eager=True
)

多 GPU 并行 ​

张量并行 ​

python
from vllm import LLM

llm = LLM(
    model="lmsys/vicuna-13b-v1.5",
    tensor_parallel_size=2
)

流水线并行 ​

python
from vllm import LLM

llm = LLM(
    model="lmsys/vicuna-70b-v1.5",
    pipeline_parallel_size=4
)

高级配置 ​

采样参数 ​

python
from vllm import SamplingParams

sampling_params = SamplingParams(
    n=1,
    best_of=1,
    presence_penalty=0.0,
    frequency_penalty=0.0,
    temperature=1.0,
    top_p=1.0,
    top_k=-1,
    use_beam_search=False,
    length_penalty=1.0,
    early_stopping=False,
    stop=None,
    stop_token_ids=None,
    ignore_eos=False,
    max_tokens=16,
    min_tokens=0,
    logprobs=None,
    prompt_logprobs=None,
    skip_special_tokens=True,
    spaces_between_special_tokens=True
)

自定义模型 ​

python
from vllm import LLM

llm = LLM(
    model="/path/to/model",
    tokenizer="/path/to/tokenizer",
    tokenizer_mode="auto",
    trust_remote_code=True,
    dtype="float16",
    seed=0
)

服务配置 ​

bash
python -m vllm.entrypoints.openai.api_server \
    --model lmsys/vicuna-7b-v1.5 \
    --host 0.0.0.0 \
    --port 8000 \
    --max-model-len 2048 \
    --gpu-memory-utilization 0.9 \
    --tensor-parallel-size 1 \
    --max-num-seqs 256 \
    --disable-log-stats

监控与运维 ​

性能监控 ​

python
from vllm import LLM

llm = LLM(model="lmsys/vicuna-7b-v1.5")

stats = llm.llm_engine.stats
print(f"平均延迟: {stats.time_per_iteration_ms} ms")
print(f"吞吐量: {stats.tokens_per_second} tokens/s")

日志配置 ​

python
import logging
from vllm import LLM

logging.basicConfig(level=logging.INFO)

llm = LLM(model="lmsys/vicuna-7b-v1.5")

健康检查 ​

bash
curl http://localhost:8000/health

Kubernetes 部署 ​

Deployment 配置 ​

yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: vllm-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: vllm
  template:
    metadata:
      labels:
        app: vllm
    spec:
      containers:
      - name: vllm
        image: vllm/vllm-openai:latest
        args:
        - --model
        - lmsys/vicuna-7b-v1.5
        - --host
        - "0.0.0.0"
        - --port
        - "8000"
        - --tensor-parallel-size
        - "2"
        resources:
          limits:
            nvidia.com/gpu: 2
          requests:
            nvidia.com/gpu: 2
        ports:
        - containerPort: 8000
        volumeMounts:
        - name: model-cache
          mountPath: /root/.cache
      volumes:
      - name: model-cache
        persistentVolumeClaim:
          claimName: model-cache-pvc

Service 配置 ​

yaml
apiVersion: v1
kind: Service
metadata:
  name: vllm-service
spec:
  selector:
    app: vllm
  ports:
  - protocol: TCP
    port: 8000
    targetPort: 8000
  type: LoadBalancer

常见问题 ​

1. GPU 内存不足 ​

问题: OOM (Out of Memory) 错误

解决方案:

python
llm = LLM(
    model="lmsys/vicuna-7b-v1.5",
    gpu_memory_utilization=0.8,
    max_model_len=2048,
    enforce_eager=True
)

2. 模型加载失败 ​

问题: 模型下载或加载失败

解决方案:

bash
export HF_ENDPOINT=https://hf-mirror.com
export TRANSFORMERS_CACHE=/path/to/cache

3. 性能不佳 ​

问题: 推理速度慢

解决方案:

  • 增大批处理大小
  • 使用张量并行
  • 优化 GPU 内存利用率
  • 使用量化模型

4. API 超时 ​

问题: 请求超时

解决方案:

bash
curl --max-time 300 http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{...}'

最佳实践 ​

1. 模型选择 ​

  • 开发测试: 使用 7B 模型
  • 生产环境: 根据需求选择 13B 或更大模型
  • 资源受限: 使用量化模型

2. 性能调优 ​

  • 合理设置 gpu_memory_utilization
  • 优化 max_num_seqs 和 max_num_batched_tokens
  • 使用张量并行提升吞吐量

3. 资源管理 ​

  • 监控 GPU 使用情况
  • 设置合理的请求超时
  • 实现请求队列管理

4. 高可用部署 ​

  • 使用 Kubernetes 部署
  • 配置健康检查
  • 实现自动扩缩容

参考资料 ​

官方资源 ​

相关教程 ​


提示

vLLM 在高吞吐量场景下性能优异,特别适合生产环境的大规模推理服务。

信息

本指南基于 vLLM 最新版本编写,建议定期更新以获得最新功能和性能优化。