快速开始¶

本指南以 Qwen3-0.6B 为例，帮助您使用预构建的 vLLM Ascend 容器，在已准备好的 Ascend 主机上运行第一个离线推理工作负载或部署在线服务。

要求¶

操作系统：Linux
Python：>= 3.10, < 3.13
Docker

支持的硬件：

类型	常见产品
Atlas A2 产品	Atlas 800T A2、Atlas 900 A2 PoD、Atlas 200T A2 Box16、Atlas 300T A2、Atlas 800I A2 等
Atlas A3 产品	Atlas 800T A3、Atlas 900 A3 SuperPoD、Atlas 9000 A3 SuperPoD、Atlas 800I A3 等
Atlas 推理系列产品	Atlas 300I DUO 和 Atlas 200I Pro
950DT 产品	950DT

vLLM Ascend 镜像中包含的软件栈

预构建镜像包含经过验证的 Python 和 Ascend 用户态软件栈，包括 CANN、NNAL、PyTorch、TorchNPU、vLLM 和 vLLM Ascend。

A2、A3 和 950DT 产品镜像还包含匹配的 Triton Ascend 运行时。Atlas 300I DUO 和 Atlas 200I Pro 不使用 Triton Ascend。

有关确切的已验证版本，请参阅安装指南 > 硬件和软件栈。

安装¶

在使用容器之前，请确保系统已安装 Docker。如果尚未安装 Docker，请参阅 Docker 安装指南获取安装说明。

A2A3

拉取镜像¶

如果镜像下载缓慢

vLLM Ascend 镜像默认从 quay.io 下载。如果直接访问缓慢，请使用以下任一镜像仓库加速下载。

例如，原始镜像地址为：

quay.io/ascend/vllm-ascend:<TAG>

您可以将其替换为：

# Replace with tag you want to pull
TAG=v0.23.0
# use
docker pull m.daocloud.io/quay.io/ascend/vllm-ascend:$TAG
# or
docker pull quay.nju.edu.cn/ascend/vllm-ascend:$TAG

仅替换注册表前缀，并保留完整的原始镜像标签，包括 -a3、-310p、-950dt 和 -openeuler 等后缀。

UbuntuopenEuler

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0
docker pull "$IMAGE"

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-openeuler
docker pull "$IMAGE"

启动容器¶

UbuntuopenEuler

export DEVICE=/dev/davinci0
export MODEL_CACHE="${HOME}/.cache"

mkdir -p "$MODEL_CACHE"

docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --device "$DEVICE" \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v "$MODEL_CACHE:/root/.cache" \
    -p 8000:8000 \
    -it "$IMAGE" bash

export DEVICE=/dev/davinci0
export MODEL_CACHE="${HOME}/.cache"

mkdir -p "$MODEL_CACHE"

docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --device "$DEVICE" \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v "$MODEL_CACHE:/root/.cache" \
    -p 8000:8000 \
    -it "$IMAGE" bash

验证容器环境¶

在容器中运行以下命令。当输出包含 vLLM Ascend environment: OK 时，容器已准备就绪。

npu-smi info

python3 - <<'PY'
import torch
import vllm
import vllm_ascend

assert torch.npu.is_available(), "No available Ascend NPU detected in the container"
print("vLLM Ascend environment: OK")
PY

拉取镜像¶

如果镜像下载缓慢

vLLM Ascend 镜像默认从 quay.io 下载。如果直接访问缓慢，请使用以下任一镜像仓库加速下载。

例如，原始镜像地址为：

quay.io/ascend/vllm-ascend:<TAG>

您可以将其替换为：

# Replace with tag you want to pull
TAG=v0.23.0
# use
docker pull m.daocloud.io/quay.io/ascend/vllm-ascend:$TAG
# or
docker pull quay.nju.edu.cn/ascend/vllm-ascend:$TAG

仅替换镜像仓库前缀，并保留完整的原始镜像标签，包括诸如 -a3、-310p、-950dt 和 -openeuler 等后缀。

=== "Ubuntu"

    <span id="quick-start-atlas-a3-ubuntu"></span>

    ```bash
    export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-a3
    docker pull "$IMAGE"
    ```

=== "openEuler"

    <span id="quick-start-atlas-a3-openeuler"></span>

    ```bash
    export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-a3-openeuler
    docker pull "$IMAGE"
    ```

#### 启动容器 {: #quick-start-atlas-a3-container }

???+ warning "A3 容器启动要求"

    A3 采用双 DIE 设计，需要两个 Ascend 设备节点，例如 `/dev/davinci0` 和 `/dev/davinci1`。

=== "Ubuntu"

    ```bash
    export DEVICE0=/dev/davinci0
    export DEVICE1=/dev/davinci1
    export MODEL_CACHE="${HOME}/.cache"

    mkdir -p "$MODEL_CACHE"

    docker run --rm \
        --name vllm-ascend \
        --shm-size=1g \
        --device "$DEVICE0" \
        --device "$DEVICE1" \
        --device /dev/davinci_manager \
        --device /dev/devmm_svm \
        --device /dev/hisi_hdc \
        -v /usr/local/dcmi:/usr/local/dcmi \
        -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
        -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
        -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
        -v /etc/ascend_install.info:/etc/ascend_install.info \
        -v "$MODEL_CACHE:/root/.cache" \
        -p 8000:8000 \
        -it "$IMAGE" bash
    ```

=== "openEuler"

    ```bash
    export DEVICE0=/dev/davinci0
    export DEVICE1=/dev/davinci1
    export MODEL_CACHE="${HOME}/.cache"

    mkdir -p "$MODEL_CACHE"

    docker run --rm \
        --name vllm-ascend \
        --shm-size=1g \
        --device "$DEVICE0" \
        --device "$DEVICE1" \
        --device /dev/davinci_manager \
        --device /dev/devmm_svm \
        --device /dev/hisi_hdc \
        -v /usr/local/dcmi:/usr/local/dcmi \
        -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
        -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
        -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
        -v /etc/ascend_install.info:/etc/ascend_install.info \
        -v "$MODEL_CACHE:/root/.cache" \
        -p 8000:8000 \
        -it "$IMAGE" bash
    ```


#### 验证容器环境 {#verify-the-container-environment}

在容器中运行以下命令。当输出包含 `vLLM Ascend environment: OK` 时，容器已准备就绪。

<!-- doctest: quickstart-container-verify -->
```bash
npu-smi info

python3 - <<'PY'
import torch
import vllm
import vllm_ascend

assert torch.npu.is_available(), "No available Ascend NPU detected in the container"
print("vLLM Ascend environment: OK")
PY
```

Atlas 300I DUO

拉取镜像¶

如果镜像下载缓慢

vLLM Ascend 镜像默认从 quay.io 下载。如果直接访问速度较慢，请使用以下任一镜像仓库镜像源来加速下载。

例如，原始镜像地址为：

quay.io/ascend/vllm-ascend:<TAG>

您可以将其替换为：

# Replace with tag you want to pull
TAG=v0.23.0
# use
docker pull m.daocloud.io/quay.io/ascend/vllm-ascend:$TAG
# or
docker pull quay.nju.edu.cn/ascend/vllm-ascend:$TAG

仅替换镜像仓库前缀，并保留完整的原始镜像标签，包括诸如 -a3、-310p、-950dt 和 -openeuler 等后缀。

UbuntuopenEuler

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-310p
docker pull "$IMAGE"

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-310p-openeuler
docker pull "$IMAGE"

启动容器¶

UbuntuopenEuler

export DEVICE=/dev/davinci0
export MODEL_CACHE="${HOME}/.cache"

mkdir -p "$MODEL_CACHE"

docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --device "$DEVICE" \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v "$MODEL_CACHE:/root/.cache" \
    -p 8000:8000 \
    -it "$IMAGE" bash

export DEVICE=/dev/davinci0
export MODEL_CACHE="${HOME}/.cache"

mkdir -p "$MODEL_CACHE"

docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --device "$DEVICE" \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v "$MODEL_CACHE:/root/.cache" \
    -p 8000:8000 \
    -it "$IMAGE" bash

验证容器环境¶

在容器中运行以下命令。当输出包含 `vLLM Ascend environment: OK` 时，容器已就绪。

<!-- doctest: quickstart-container-verify -->
```bash
npu-smi info

python3 - <<'PY'
import torch
import vllm
import vllm_ascend

assert torch.npu.is_available(), "No available Ascend NPU detected in the container"
print("vLLM Ascend environment: OK")
PY
```

Atlas 200I Pro950DT 产品Ubuntu

拉取镜像¶

如果镜像下载缓慢

vLLM Ascend 镜像默认从 quay.io 下载。如果直接访问缓慢，请使用以下任一镜像仓库来加速下载。

例如，原始镜像地址为：

quay.io/ascend/vllm-ascend:<TAG>

您可以将其替换为：

# Replace with tag you want to pull
TAG=v0.23.0
# use
docker pull m.daocloud.io/quay.io/ascend/vllm-ascend:$TAG
# or
docker pull quay.nju.edu.cn/ascend/vllm-ascend:$TAG

仅替换镜像仓库前缀，并保留完整的原始镜像标签，包括 -a3、-310p、-950dt 和 -openeuler 等后缀。

UbuntuopenEuler

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-310p
docker pull "$IMAGE"

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-310p-openeuler
docker pull "$IMAGE"

启动容器¶

Atlas 200I Pro 容器启动要求

Atlas 200I Pro 需要额外的设备节点、驱动库和主机配置文件。在启动容器之前，请确保下方命令挂载的所有主机路径均存在。

UbuntuopenEuler

export MODEL_CACHE="${HOME}/.cache"

mkdir -p "$MODEL_CACHE"

docker run --rm \
    --privileged \
    --name vllm-ascend \
    --shm-size=10g \
    --device=/dev/davinci0:/dev/davinci0 \
    --device=/dev/davinci_manager \
    --device=/dev/ascend_manager \
    --device=/dev/user_config \
    -v /etc/sys_version.conf:/etc/sys_version.conf \
    -v /etc/ld.so.conf.d/mind_so.conf:/etc/ld.so.conf.d/mind_so.conf \
    -v /etc/hdcBasic.cfg:/etc/hdcBasic.cfg \
    -v /var/dmp_daemon:/var/dmp_daemon \
    -v /usr/lib64/libmmpa.so:/usr/lib64/libmmpa.so \
    -v /usr/lib64/libcrypto.so.1.1:/usr/lib64/libcrypto.so.1.1 \
    -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
    -v /usr/lib64/libstackcore.so:/usr/lib64/libstackcore.so \
    -v /usr/lib/aarch64-linux-gnu/libyaml-0.so.2:/usr/lib64/libyaml-0.so.2 \
    -v /etc/slog.conf:/etc/slog.conf \
    -v /var/slogd:/var/slogd \
    -v /usr/local/Ascend/driver/lib64:/usr/local/Ascend/driver/lib64 \
    -v /usr/lib64/libtensorflow.so:/usr/lib64/libtensorflow.so \
    -v "$MODEL_CACHE:/root/.cache" \
    -p 8000:8000 \
    -it "$IMAGE" bash

export MODEL_CACHE="${HOME}/.cache"

mkdir -p "$MODEL_CACHE"

docker run --rm \
    --privileged \
    --name vllm-ascend \
    --shm-size=10g \
    --device=/dev/davinci0:/dev/davinci0 \
    --device=/dev/davinci_manager \
    --device=/dev/ascend_manager \
    --device=/dev/user_config \
    -v /etc/sys_version.conf:/etc/sys_version.conf \
    -v /etc/ld.so.conf.d/mind_so.conf:/etc/ld.so.conf.d/mind_so.conf \
    -v /etc/hdcBasic.cfg:/etc/hdcBasic.cfg \
    -v /var/dmp_daemon:/var/dmp_daemon \
    -v /usr/lib64/libsemanage.so.2:/usr/lib64/libsemanage.so.2 \
    -v /usr/lib64/libmmpa.so:/usr/lib64/libmmpa.so \
    -v /usr/lib64/libcrypto.so.1.1:/usr/lib64/libcrypto.so.1.1 \
    -v /usr/lib64/libyaml-0.so.2.0.9:/usr/lib64/libyaml-0.so.2 \
    -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
    -v /usr/lib64/libstackcore.so:/usr/lib64/libstackcore.so \
    -v /etc/slog.conf:/etc/slog.conf \
    -v /var/slogd:/var/slogd \
    -v /usr/local/Ascend/driver/lib64:/usr/local/Ascend/driver/lib64 \
    -v /usr/lib64/libtensorflow.so:/usr/lib64/libtensorflow.so \
    -v "$MODEL_CACHE:/root/.cache" \
    -p 8000:8000 \
    -it "$IMAGE" bash

验证容器环境¶

在容器中运行以下命令。当输出包含 vLLM Ascend environment: OK 时，容器已就绪。

npu-smi info

python3 - <<'PY'
import torch
import vllm
import vllm_ascend

assert torch.npu.is_available(), "No available Ascend NPU detected in the container"
print("vLLM Ascend environment: OK")
PY

拉取镜像¶

如果镜像下载缓慢

vLLM Ascend 镜像默认从 quay.io 下载。如果直接访问缓慢，请使用以下任一镜像仓库来加速下载。

例如，原始镜像地址为：

quay.io/ascend/vllm-ascend:<TAG>

您可以将其替换为：

# Replace with tag you want to pull
TAG=v0.23.0
# use
docker pull m.daocloud.io/quay.io/ascend/vllm-ascend:$TAG
# or
docker pull quay.nju.edu.cn/ascend/vllm-ascend:$TAG

仅替换镜像仓库前缀，并保留完整的原始镜像标签，包括 -a3、-310p、-950dt 和 -openeuler 等后缀。

<span id="quick-start-atlas-950dt-ubuntu"></span>

```bash
export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-a5
docker pull "$IMAGE"
```

openEuler

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-a5-openeuler
docker pull "$IMAGE"

启动容器¶

UbuntuopenEuler

export MODEL_CACHE="${HOME}/.cache"

mkdir -p "$MODEL_CACHE"

docker run --rm \
    --name vllm-ascend \
    --net=host \
    --shm-size=1g \
    --device /dev/davinci0 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v "$MODEL_CACHE:/root/.cache" \
    -it "$IMAGE" bash

export MODEL_CACHE="${HOME}/.cache"

mkdir -p "$MODEL_CACHE"

docker run --rm \
    --name vllm-ascend \
    --net=host \
    --shm-size=1g \
    --device /dev/davinci0 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v "$MODEL_CACHE:/root/.cache" \
    -it "$IMAGE" bash

验证容器环境¶

在容器中运行以下命令。当输出包含 vLLM Ascend environment: OK 时，表示容器已就绪。

npu-smi info

python3 - <<'PY'
import torch
import vllm
import vllm_ascend

assert torch.npu.is_available(), "No available Ascend NPU detected in the container"
print("vLLM Ascend environment: OK")
PY

推理¶

以下章节提供离线推理和在线服务示例。请根据需要选择相应的方法开始使用。

如果 Hugging Face 访问受限

如果你的环境无法稳定访问 Hugging Face，模型下载可能会因连接超时、DNS 错误或其他网络问题而失败。你可以改用 ModelScope：

export VLLM_USE_MODELSCOPE=True
pip install "modelscope>=1.18.1,<1.38"

如果模型已经下载到本地，请将以下示例中的模型 ID 替换为本地目录。你无需设置此环境变量。

离线推理¶

A2 / A3 / 950DT 产品Atlas 300I DUO / Atlas 200I Pro

以下 Qwen3-0.6B 示例已使用默认模型加载配置进行了验证。

在容器终端中，使用以下代码创建 example.py：

from vllm import LLM, SamplingParams

prompts = [
    "Hello, my name is",
    "The future of AI is",
]

sampling_params = SamplingParams(
    temperature=0.0,
    max_tokens=32,
)

llm = LLM(model="Qwen/Qwen3-0.6B")
outputs = llm.generate(prompts, sampling_params)

assert len(outputs) == len(prompts)

for output in outputs:
    generated_text = output.outputs[0].text
    assert generated_text.strip()
    print(f"Prompt: {output.prompt!r}, Generated text: {generated_text!r}")

运行示例：

python3 example.py

以下输出表明 vLLM 已成功检测到 Ascend 平台：

INFO 05-27 11:40:38 [__init__.py:44] Available plugins for group vllm.platform_plugins:
INFO 05-27 11:40:38 [__init__.py:46] - ascend -> vllm_ascend:register
INFO 05-27 11:40:38 [__init__.py:49] All plugins in this group will be loaded. Set `VLLM_PLUGINS` to control which plugins to load.
INFO 05-27 11:40:38 [__init__.py:238] Platform plugin ascend is activated

以下输出显示了生成结果：

Prompt: 'Hello, my name is', Generated text: ' Lucy and I am an 8 year old who loves to draw and write stories'
Prompt: 'The future of AI is', Generated text: ' a topic that is being discussed in various contexts. In the business world, AI'

以下消息显示离线推理结束后进程退出的情况，这不影响推理结果：

(EngineCore pid=970) INFO 05-12 11:36:00 [core.py:1201] Shutdown initiated (timeout=0)
(EngineCore pid=970) INFO 05-12 11:36:00 [core.py:1224] Shutdown complete
ERROR 05-12 11:36:01 [core_client.py:704] Engine core proc EngineCore died unexpectedly, shutting down client.
sys:1: DeprecationWarning: builtin type swigvarlink has no __module__ attribute

以下 Qwen3-0.6B 示例已在 Atlas 300I DUO 和 Atlas 200I Pro 上完成验证。

此硬件路径的运行时要求

使用 float16。
使用 FULL_DECODE_ONLY 并限制图捕获大小。
enable_npugraph_ex 不受支持。请设置 --additional-config '{"ascend_compilation_config": {"enable_npugraph_ex":false}}'。

在容器终端中，使用以下代码创建 example.py：

from vllm import LLM, SamplingParams

MODEL = "Qwen/Qwen3-0.6B"

prompts = [
    "Hello, my name is",
    "The future of AI is",
]

llm = LLM(
    model=MODEL,
    dtype="float16",
    max_num_seqs=8,
    compilation_config={
        "cudagraph_mode": "FULL_DECODE_ONLY",
        "cudagraph_capture_sizes": [1, 2, 4, 8],
    },
    additional_config={
        "ascend_compilation_config": {
            "enable_npugraph_ex": False,
        },
    },
)

sampling_params = SamplingParams(
    temperature=0.0,
    max_tokens=32,
)

outputs = llm.generate(prompts, sampling_params)

assert len(outputs) == len(prompts)

for output in outputs:
    generated_text = output.outputs[0].text
    assert generated_text.strip()
    print(f"Prompt: {output.prompt!r}, Generated text: {generated_text!r}")

运行示例：

python3 example.py

以下输出表明 vLLM 已成功检测到 Ascend 平台：

INFO 05-27 11:40:38 [__init__.py:44] Available plugins for group vllm.platform_plugins:
INFO 05-27 11:40:38 [__init__.py:46] - ascend -> vllm_ascend:register
INFO 05-27 11:40:38 [__init__.py:49] All plugins in this group will be loaded. Set `VLLM_PLUGINS` to control which plugins to load.
INFO 05-27 11:40:38 [__init__.py:238] Platform plugin ascend is activated

以下输出显示生成结果：

Prompt: 'Hello, my name is', Generated text: ' Lucy and I am an 8 year old who loves to draw and write stories'
Prompt: 'The future of AI is', Generated text: ' a topic that is being discussed in various contexts. In the business world, AI'

以下消息显示离线推理后进程退出，且不影响推理结果：

(EngineCore pid=970) INFO 05-12 11:36:00 [core.py:1201] Shutdown initiated (timeout=0)
(EngineCore pid=970) INFO 05-12 11:36:00 [core.py:1224] Shutdown complete
ERROR 05-12 11:36:01 [core_client.py:704] Engine core proc EngineCore died unexpectedly, shutting down client.
sys:1: DeprecationWarning: builtin type swigvarlink has no __module__ attribute

在线服务¶

A2 / A3 / 950DT 产品Atlas 300I DUO / Atlas 200I Pro

以下 Qwen3-0.6B 示例已使用默认模型加载配置完成验证。

vllm serve Qwen/Qwen3-0.6B &

如果您看到以下日志：

INFO:     Started server process [3594]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

恭喜！您已成功启动 vLLM 服务器。

您可以查询模型列表：

curl --fail http://localhost:8000/v1/models

您还可以向模型发送提示词：

curl --fail http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Qwen/Qwen3-0.6B",
        "prompt": "Beijing is a",
        "max_tokens": 5,
        "temperature": 0
    }'

请确认响应中 choices[0].text 包含非空生成文本。错误响应或空补全不能确认推理成功。

vLLM 正在作为后台进程运行。您可以使用 kill -2 $VLLM_PID 优雅地停止它，这类似于为前台 vLLM 进程按下 Ctrl+C：

停止服务前请确认进程

如果当前环境中还有其他 vllm serve 进程正在运行，pgrep -f "vllm serve" 也可能匹配到那些 vLLM 服务。

在运行 kill 之前，请确认 VLLM_PID 是本示例启动的服务，以免误停其他正在运行的 vLLM 进程。

VLLM_PID=$(pgrep -f "vllm serve")
kill -2 "$VLLM_PID"

输出如下：

INFO:     Shutting down FastAPI HTTP server.
INFO:     Shutting down
INFO:     Waiting for application shutdown.
INFO:     Application shutdown complete.

最后，按 Ctrl+D 退出容器。

以下 Qwen3-0.6B 示例已在 Atlas 300I DUO 和 Atlas 200I Pro 上完成验证。

此硬件路径的运行时要求

使用 float16。
使用 FULL_DECODE_ONLY 并限制图捕获大小。
enable_npugraph_ex 不受支持。请设置 --additional-config '{"ascend_compilation_config": {"enable_npugraph_ex":false}}'。

```bash
vllm serve Qwen/Qwen3-0.6B \
    --dtype float16 \
    --max-num-seqs 8 \
    --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY","cudagraph_capture_sizes":[1,2,4,8]}' \
    --additional-config '{"ascend_compilation_config":{"enable_npugraph_ex":false}}' &
```

如果你看到以下日志：

```text
INFO:     Started server process [3594]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
```

恭喜！你已成功启动 vLLM 服务器。

你可以查询模型列表：

<!-- doctest: quickstart-300i-duo-online-model-list -->
```bash
curl --fail http://localhost:8000/v1/models
```

你还可以向模型发送提示词：

<!-- doctest: quickstart-300i-duo-online-completion -->
```bash
curl --fail http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Qwen/Qwen3-0.6B",
        "prompt": "Beijing is a",
        "max_tokens": 5,
        "temperature": 0
    }'
```

确认响应中 `choices[0].text` 包含非空的生成文本。
错误响应或空的补全结果不能确认推理成功。

vLLM 正在作为后台进程运行。你可以使用 `kill -2 $VLLM_PID` 优雅地停止它，这类似于为前台 vLLM 进程按 `Ctrl+C`：

???+ warning "停止服务前确认进程"

    如果当前环境中还有其他 `vllm serve` 进程正在运行，`pgrep -f "vllm serve"` 也可能匹配到那些 vLLM 服务。

    在运行 `kill` 之前，请确认 `VLLM_PID` 是本示例启动的服务，以免误停其他正在运行的 vLLM 进程。

<!-- doctest: quickstart-300i-duo-online-stop -->
```bash
VLLM_PID=$(pgrep -f "vllm serve")
kill -2 "$VLLM_PID"
```

输出如下：

```text
INFO:     Shutting down FastAPI HTTP server.
INFO:     Shutting down
INFO:     Waiting for application shutdown.
INFO:     Application shutdown complete.
```

最后，按 `Ctrl+D` 退出容器。

后续步骤¶

查看支持的模型以选择其他模型。
查看模型教程获取特定模型的部署说明。
查看安装指南 > 设置软件环境了解 pip、CANN 和源码安装方法。
查看功能教程了解分布式部署和高级功能。
查看常见问题以排查常见部署问题。

本页原文 Markdown：在 AtomGit 查看·内容源自开源项目 vl/vllm-ascend