开发者指南¶

本节面向希望为 vLLM Ascend 做出贡献或了解其内部架构的开发者。

贡献¶

• 贡献指南 — 如何为 vLLM Ascend 做出贡献
• 测试 — 编写和运行单元测试、E2E 测试及每日测试
• 文档编写 — 文档贡献指南
• 多节点测试 — 多节点测试指南
• 每日 CI 测试 — 每日 CI 测试
• E2E CI 测试 — E2E CI 测试

设计文档¶

探索涵盖补丁架构、CPU 绑定、模型运行器内部机制、分离式 prefill、EPLB、ACL Graph、KV Cache Pool、自定义算子、上下文并行、量化以及 NPUGraph 的设计文档。

评估¶

• 使用 EvalScope — 使用 EvalScope 进行模型评估
• 使用 lm_eval — 使用 lm_eval 进行模型评估
• 使用 AISBench — 使用 AISBench 进行模型评估
• 使用 OpenCompass — 使用 OpenCompass 进行模型评估

性能与调试¶

• 性能基准测试 — 基准测试指南
• 优化与调优 — 性能优化
• 服务性能剖析指南 — 服务性能剖析
• msprobe 指南 — 使用 msprobe 进行调试