跳转至

支持的功能

vLLM Ascend 的功能支持原则是：与 vLLM 保持一致。我们也在积极与社区合作，以加速功能支持。

工具调用：vLLM 文档

您可以查看 vLLM V1 引擎的支持状态。以下是 vLLM Ascend 的功能支持状态：

功能 状态 下一步
分块预填充 🟢 可用 可用，详见说明：分块预填充
自动前缀缓存 🟢 可用 可用，详见说明：vllm-ascend#732
LoRA 🔵 实验性 可用，详见说明：LoRA
推测解码 🟢 可用 基础支持
池化 🔵 实验性 需要 CI 以适配更多模型；V1 支持依赖于 vLLM 的支持。
编码器-解码器 🟡 计划中 vLLM 应首先支持此功能。
多模态 🟢 可用 多模态，正在优化并适配更多模型
LogProbs 🟢 可用 需要 CI
Prompt LogProbs 🟢 可用 需要 CI
异步输出 🟢 可用 需要 CI
束搜索 🔵 实验性 需要 CI
引导解码 🟢 可用 vllm-ascend#177
张量并行 🟢 可用 使 TP >4 在图模式下正常工作。
流水线并行 🟢 可用 参见 流水线并行。计划提供端到端教程。
专家并行 🟢 可用 支持 MRv1 旧版 EPLB 和 MRv2 异步 EPLB，采用上游默认策略；参见 EPLB。
数据并行 🟢 可用 支持 Qwen3 MoE 的数据并行。
预填充解码分离 🟢 可用 可用，支持 xPyD。
量化 🟢 可用 W8A8 可用；正在支持更多量化方法（W4A8 等）。
图模式 🟢 可用 可用，详见说明：图模式
睡眠模式 🟢 可用 可用，详见说明：睡眠模式
上下文并行 🟢 可用 可用，详见说明：上下文并行
KVPP 🔵 实验性 eager 模式下的非混合 MLA/SFA 模型；支持的组合参见 KVPP。
  • 🟢 可用：完全可用，并持续优化。
  • 🔵 实验性：实验性支持，接口和功能可能会变化。
  • 🚧 开发中：正在积极开发，即将支持。
  • 🟡 计划中：计划在未来实现（部分可能已有开放的 PR/RFC）。
  • 🔴 无计划/已弃用：无计划或已被 vLLM 弃用。

本页原文 Markdown：在 AtomGit 查看·内容源自开源项目 vl/vllm-ascend