用户指南¶

本节提供有关在生产环境中使用 vLLM Ascend 的全面文档。

支持矩阵¶

• 支持的模型 — vLLM Ascend 支持的模型
• 支持的功能 — Ascend NPU 上支持的功能
• 功能矩阵 — 跨硬件版本的功能兼容性

配置¶

• 环境变量 — 通过环境变量配置 vLLM Ascend
• 附加配置 — 附加配置选项
• MS Service Metric — 启用指标并添加 vLLM Ascend 指标点
• Score Encoder Cache Manager — 配置基于分数的编码器缓存，用于在线和离线推理

功能指南¶

探索 vLLM Ascend 功能的详细指南，包括图模式、CPU 绑定、量化、睡眠模式、结构化输出、LoRA、专家并行负载均衡等。

部署指南¶

• 使用 Volcano Kthena — 使用 Volcano Kthena 部署
• 使用 MindIE Motor — 使用 MindIE Motor 部署

发布说明¶

• 发布说明 — 最新发布信息