LoRA 适配器指南¶

概述¶

与 vLLM 类似，vllm-ascend 也支持 LoRA。用法和更多详细信息可在 vLLM 官方文档 中查看。

您可以参考 支持的模型 以了解 vLLM 中哪些模型支持 LoRA。

现在您可以在 ACLGraph 模式下运行 LoRA。有关更好的 LoRA 性能，请参阅 图模式指南。

模型下载地址：

• 基础模型：https://www.modelscope.cn/models/vllm-ascend/Llama-2-7b-hf/files
• LoRA 模型：https://www.modelscope.cn/models/vllm-ascend/llama-2-7b-sql-lora-test/files

示例¶

这里提供一个简单的 LoRA 示例，默认启用 ACLGraph 模式。

vllm serve meta-llama/Llama-2-7b \
    --enable-lora \
    --lora-modules '{"name": "sql-lora", "path": "/path/to/lora", "base_model_name": "meta-llama/Llama-2-7b"}'

注意¶

• 我们已实现与 LoRA 相关的 AscendC 算子，例如 bgmv_shrink、bgmv_expand、sgmv_shrink 和 sgmv_expand。您可以在 vllm-ascend 仓库 的 csrc/kernels 目录下找到它们。

LoRA 同时支持稠密模型和混合专家（MoE）模型。当前 MoE 支持状态如下：

其他 MoE 量化方法、Fused MC2 以及动态 EPLB 不支持与 LoRA 一起使用。