跳转至

快速入门

欢迎使用 vLLM Ascend 插件。本节将引导您从环境配置到运行第一个推理工作负载。

快速导航

  • 快速入门:使用预构建镜像运行您的第一个模型。
  • 安装指南:配置驱动程序、CANN、Python、Docker 以及源码安装环境。
  • 模型教程:查找特定模型的部署说明。
  • 功能教程:了解高级功能,例如 PD 分离和上下文并行。
  • 常见问题:排查常见的部署和运行时问题。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 vl/vllm-ascend