索引

vLLM Ascend 插件

Star Watch Fork

vLLM Ascend 插件（vllm-ascend）是一个由社区维护的硬件插件，用于在 Ascend NPU 上运行 vLLM。

该插件是在 vLLM 社区中支持 Ascend 后端的推荐方式。它遵循 [RFC]：硬件可插拔 中概述的原则，提供一个硬件可插拔接口，将 Ascend NPU 与 vLLM 的集成解耦。

使用 vLLM Ascend 插件后，流行的开源模型（包括类 Transformer、混合专家（Mixture-of-Experts）、嵌入（Embedding）和多模态大语言模型（LLM））都可以在 Ascend NPU 上无缝运行。

欢迎使用 DeepWiki，这是一个由社区和 AI 共同维护的动态知识库，旨在为你提供超越传统文档的更深入技术洞察。如果官方文档是帮助你上手的“快速入门”指南，那么 DeepWiki 就是你“深入理解”的技术伙伴。在这里，你可以探索：核心架构与设计原则、关键源代码解读、技术背景以及决策逻辑。