外观
Milvus 集群部署指南
Milvus 是一款开源的向量数据库,专为海量向量数据的存储、索引和检索而设计。本指南将详细介绍如何在 Kubernetes 集群中部署高可用的 Milvus 集群。
概述
什么是 Milvus?
Milvus 是一款云原生向量数据库,具有以下核心特性:
- 高性能:支持十亿级向量的毫秒级检索
- 高可用:支持分布式部署和故障恢复
- 可扩展:支持水平扩展,满足业务增长需求
- 多索引:支持多种向量索引类型(IVF、HNSW、ANNOY等)
- 云原生:Kubernetes 原生支持,易于部署和运维
架构介绍
Milvus 集群采用微服务架构,主要组件包括:
text
┌─────────────────────────────────────────────┐
│ Access Layer │
│ (Proxy / Load Balancer) │
└─────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────┐
│ Coordinator Layer │
│ ┌──────────┬──────────┬──────────┐ │
│ │ Root │ Query │ Data │ │
│ │ Coordinator│Coordinator│Coordinator│ │
│ └──────────┴──────────┴──────────┘ │
└─────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────┐
│ Worker Layer │
│ ┌──────────┬──────────┬──────────┐ │
│ │ Query │ Data │ Index │ │
│ │ Node │ Node │ Node │ │
│ └──────────┴──────────┴──────────┘ │
└─────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────┐
│ Storage Layer │
│ ┌──────────┬──────────┬──────────┐ │
│ │ Meta │ Log │ Object │ │
│ │ Storage │ Storage │ Storage │ │
│ │ (etcd) │ (Kafka) │ (MinIO) │ │
│ └──────────┴──────────┴──────────┘ │
└─────────────────────────────────────────────┘核心组件说明
- Proxy: 接入层,处理客户端请求
- Root Coordinator: 元数据管理和调度
- Query Coordinator: 查询调度和负载均衡
- Data Coordinator: 数据管理和分配
- Query Node: 执行向量检索
- Data Node: 数据写入和持久化
- Index Node: 构建向量索引
- etcd: 元数据存储
- Kafka/Pulsar: 消息队列
- MinIO: 对象存储
环境要求
硬件要求
最小配置
- CPU: 8核心
- 内存: 32GB
- 存储: 100GB SSD
- 网络: 1Gbps
推荐配置
- CPU: 16核心以上
- 内存: 64GB以上
- 存储: 500GB NVMe SSD
- 网络: 10Gbps
集群规模建议
| 数据规模 | 节点数 | CPU/节点 | 内存/节点 | 存储/节点 |
|---|---|---|---|---|
| 100万向量 | 3 | 4核 | 16GB | 100GB |
| 1000万向量 | 5 | 8核 | 32GB | 200GB |
| 1亿向量 | 10 | 16核 | 64GB | 500GB |
| 10亿向量 | 20+ | 32核 | 128GB | 1TB |
软件要求
- Kubernetes: 1.20+
- Helm: 3.0+
- kubectl: 与集群版本匹配
- 存储类: 支持动态供给
部署步骤
1. 准备 Kubernetes 集群
检查集群状态
bash
kubectl cluster-info
kubectl get nodes创建命名空间
bash
kubectl create namespace milvus2. 安装依赖组件
安装 etcd
bash
helm repo add bitnami https://charts.bitnami.com/bitnami
helm install etcd bitnami/etcd \
--namespace milvus \
--set replicaCount=3 \
--set auth.rbac.enabled=false安装 Kafka
bash
helm repo add strimzi https://strimzi.io/charts/
helm install kafka strimzi/strimzi-kafka-operator \
--namespace milvus创建 Kafka 集群:
yaml
apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
name: kafka
namespace: milvus
spec:
kafka:
version: 3.5.1
replicas: 3
listeners:
- name: plain
port: 9092
type: internal
tls: false
config:
offsets.topic.replication.factor: 3
transaction.state.log.replication.factor: 3
transaction.state.log.min.isr: 2
default.replication.factor: 3
min.insync.replicas: 2
storage:
type: jbod
volumes:
- id: 0
type: persistent-claim
size: 100Gi
class: fast-ssd
zookeeper:
replicas: 3
storage:
type: persistent-claim
size: 10Gi
class: fast-ssdbash
kubectl apply -f kafka.yaml安装 MinIO
bash
helm repo add minio https://charts.min.io/
helm install minio minio/minio \
--namespace milvus \
--set mode=distributed \
--set replicas=4 \
--set persistence.size=100Gi \
--set resources.requests.memory=2Gi3. 安装 Milvus
添加 Helm 仓库
bash
helm repo add milvus https://zilliztech.github.io/milvus-helm/
helm repo update创建配置文件
创建 milvus-values.yaml:
yaml
cluster:
enabled: true
image:
repository: milvusdb/milvus
tag: v2.3.3
pullPolicy: IfNotPresent
# Proxy 配置
proxy:
replicas: 2
resources:
requests:
cpu: "1"
memory: "2Gi"
limits:
cpu: "2"
memory: "4Gi"
# Root Coordinator 配置
rootCoordinator:
replicas: 2
resources:
requests:
cpu: "1"
memory: "2Gi"
limits:
cpu: "2"
memory: "4Gi"
# Query Coordinator 配置
queryCoordinator:
replicas: 2
resources:
requests:
cpu: "1"
memory: "2Gi"
limits:
cpu: "2"
memory: "4Gi"
# Query Node 配置
queryNode:
replicas: 3
resources:
requests:
cpu: "2"
memory: "8Gi"
limits:
cpu: "4"
memory: "16Gi"
# Data Coordinator 配置
dataCoordinator:
replicas: 2
resources:
requests:
cpu: "1"
memory: "2Gi"
limits:
cpu: "2"
memory: "4Gi"
# Data Node 配置
dataNode:
replicas: 3
resources:
requests:
cpu: "2"
memory: "8Gi"
limits:
cpu: "4"
memory: "16Gi"
# Index Node 配置
indexNode:
replicas: 3
resources:
requests:
cpu: "2"
memory: "8Gi"
limits:
cpu: "4"
memory: "16Gi"
# 外部依赖配置
etcd:
enabled: false
external: true
endpoints:
- "etcd-0.etcd-headless.milvus.svc.cluster.local:2379"
- "etcd-1.etcd-headless.milvus.svc.cluster.local:2379"
- "etcd-2.etcd-headless.milvus.svc.cluster.local:2379"
kafka:
enabled: false
external: true
brokerList:
- "kafka-kafka-bootstrap.milvus.svc.cluster.local:9092"
minio:
enabled: false
external: true
address: "minio.milvus.svc.cluster.local"
port: "9000"
accessKey: "minioadmin"
secretKey: "minioadmin"
useSSL: false
# 存储配置
persistence:
enabled: true
storageClass: "fast-ssd"
accessMode: ReadWriteOnce
size: 100Gi
# 服务配置
service:
type: LoadBalancer
port: 19530
annotations: {}
# 日志配置
log:
level: "info"
file:
maxSize: 300
maxAge: 10
maxBackups: 20
# 监控配置
metrics:
enabled: true
serviceMonitor:
enabled: true
namespace: "monitoring"安装 Milvus
bash
helm install milvus milvus/milvus \
--namespace milvus \
-f milvus-values.yaml4. 验证安装
检查 Pod 状态
bash
kubectl get pods -n milvus预期输出:
text
NAME READY STATUS RESTARTS AGE
milvus-proxy-6b7c8d9f-g5h2j 1/1 Running 0 5m
milvus-rootcoord-7c8d9e0f-h3i4k 1/1 Running 0 5m
milvus-querycoord-8d9e0f1g-i4j5l 1/1 Running 0 5m
milvus-querynode-9e0f1g2h-j5k6m 1/1 Running 0 5m
milvus-datacoord-0f1g2h3i-k6l7n 1/1 Running 0 5m
milvus-datanode-1g2h3i4j-l7m8o 1/1 Running 0 5m
milvus-indexnode-2h3i4j5k-m8n9p 1/1 Running 0 5m检查服务状态
bash
kubectl get svc -n milvus连接测试
python
from pymilvus import connections
connections.connect(
alias="default",
host='milvus.milvus.svc.cluster.local',
port='19530'
)
print("Successfully connected to Milvus!")配置优化
性能参数调优
Query Node 优化
yaml
queryNode:
replicas: 5
resources:
requests:
cpu: "4"
memory: "16Gi"
limits:
cpu: "8"
memory: "32Gi"
extraConfig:
queryNode:
segcore:
chunkRows: 1024
knowhere:
indexParallelBuild: 8
cache:
enabled: true
memoryLimit: 8GBData Node 优化
yaml
dataNode:
replicas: 5
resources:
requests:
cpu: "2"
memory: "8Gi"
limits:
cpu: "4"
memory: "16Gi"
extraConfig:
dataNode:
flush:
insertBufferSize: 16MB
insertBufferPoolSize: 2GB
segment:
maxSize: 512MB存储优化
使用高性能存储类
yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: fast-ssd
provisioner: kubernetes.io/gce-pd
parameters:
type: pd-ssd
reclaimPolicy: Retain
volumeBindingMode: WaitForFirstConsumer配置本地存储
yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: local-storage
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer网络优化
使用 HostNetwork
yaml
proxy:
hostNetwork: true
dnsPolicy: ClusterFirstWithHostNet配置网络策略
yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: milvus-network-policy
namespace: milvus
spec:
podSelector:
matchLabels:
app.kubernetes.io/name: milvus
policyTypes:
- Ingress
- Egress
ingress:
- from:
- namespaceSelector:
matchLabels:
name: milvus
ports:
- protocol: TCP
port: 19530
egress:
- to:
- namespaceSelector:
matchLabels:
name: milvus运维管理
集群扩缩容
扩容 Query Node
bash
kubectl scale deployment milvus-querynode \
--replicas=5 \
-n milvus扩容 Data Node
bash
kubectl scale deployment milvus-datanode \
--replicas=5 \
-n milvus数据备份
使用 Milvus Backup 工具
bash
milvus-backup create \
--name backup-20240101 \
--milvus-config backup.yaml配置文件 backup.yaml:
yaml
milvus:
address: milvus.milvus.svc.cluster.local
port: 19530
minio:
address: minio.milvus.svc.cluster.local
port: 9000
accessKeyID: minioadmin
secretAccessKey: minioadmin
useSSL: false
bucketName: milvus-backup
backupPath: backup监控配置
安装 Prometheus Operator
bash
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm install prometheus prometheus-community/kube-prometheus-stack \
--namespace monitoring \
--create-namespace配置 ServiceMonitor
yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: milvus-metrics
namespace: monitoring
spec:
selector:
matchLabels:
app.kubernetes.io/name: milvus
namespaceSelector:
matchNames:
- milvus
endpoints:
- port: metrics
interval: 30s
path: /metricsGrafana 仪表板
导入 Milvus 官方 Grafana 仪表板:Dashboard ID: 18726
日志管理
配置日志收集
yaml
apiVersion: fluentd.fluent.io/v1alpha1
kind: Fluentd
metadata:
name: milvus-logging
namespace: milvus
spec:
globalInputs:
- forward:
port: 24224
filters:
- recordTransformer:
enableRuby: true
records:
- key: kubernetes_namespace
value: ${record.dig("kubernetes", "namespace_name")}
match:
- select:
labels:
app.kubernetes.io/name: milvus
output:
elasticsearch:
host: elasticsearch.logging.svc.cluster.local
port: 9200
logstashFormat: true
logstashPrefix: milvus故障排查
常见问题
1. Pod 启动失败
问题: Pod 一直处于 Pending 状态
排查步骤:
bash
kubectl describe pod <pod-name> -n milvus
kubectl get events -n milvus --sort-by='.lastTimestamp'解决方案:
- 检查资源配额
- 检查存储类配置
- 检查节点资源
2. 连接超时
问题: 客户端无法连接到 Milvus
排查步骤:
bash
kubectl get svc -n milvus
kubectl logs -n milvus <proxy-pod-name>解决方案:
- 检查 Service 配置
- 检查网络策略
- 检查防火墙规则
3. 性能下降
问题: 查询延迟增加
排查步骤:
bash
kubectl top pods -n milvus
kubectl logs -n milvus <querynode-pod-name> | grep -i error解决方案:
- 扩容 Query Node
- 优化索引参数
- 增加缓存大小
4. 数据丢失
问题: 数据无法恢复
预防措施:
- 定期备份数据
- 配置数据副本
- 监控存储使用情况
最佳实践
1. 部署策略
- 使用多副本保证高可用
- 合理配置资源限制
- 使用高性能存储
2. 性能优化
- 根据数据规模调整节点数量
- 优化索引参数
- 配置合适的缓存大小
3. 运维管理
- 定期备份数据
- 监控关键指标
- 及时处理告警
4. 安全加固
- 配置网络策略
- 启用 TLS 加密
- 定期更新版本
参考资料
官方文档
相关教程
提示
Milvus 集群部署需要合理规划资源,建议在生产环境前进行充分的性能测试。
信息
本指南基于 Milvus 2.3 版本编写,不同版本配置可能有所差异,请参考官方文档。
