LLaMA-Factory¶

简介¶

LLaMA-Factory 是一个易用且高效的训练和微调大语言模型的平台。借助 LLaMA-Factory，您可以在本地微调数百个预训练模型，而无需编写任何代码。

LLaMA-Factory 用户需要在微调后评估模型并执行推理。

业务挑战¶

LLaMA-Factory 使用 Transformers 在 Ascend NPU 上执行推理，但速度较慢。

使用 vLLM Ascend 的收益¶

在 LLaMA-Factory 和 vLLM Ascend 的共同努力下（LLaMA-Factory#7739），LLaMA-Factory 在模型推理期间取得了显著的性能提升。基准测试结果表明，与 Transformers 实现相比，其推理速度现在最高可提升 2×。

了解更多¶

有关 LLaMA-Factory 的更多详细信息，请参阅官方文档。