使用 MindIE-Motor 部署 vLLM-Ascend¶
1. 概述¶
MindIE-Motor 为在 Ascend NPU 上基于 vLLM-Ascend 的 预填充-解码(PD)分离 和 PD 聚合 提供一键部署。它使用 高性能调度与负载均衡,并结合 RAS(可靠性、可用性和可服务性)能力,构建快速且高度稳定的推理服务。
2. 快速入门¶
如需快速部署说明,请参阅 MindIE-Motor 快速入门。
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 vl/vllm-ascend