跳转至

DeepSeek-V4-Pro

1 引言

DeepSeek-V4 在 DeepSeek-V3 的基础上引入了若干关键升级：

  • 流形约束超连接（Manifold-Constrained Hyper-Connections，mHC），用于增强传统的残差连接。
  • 一种混合注意力架构，通过 Compress-4-Attention 和 Compress-128-Attention 大幅提升长上下文效率。对于混合专家（Mixture-of-Experts，MoE）组件，仍然采用 DeepSeekMoE 架构，仅做了少量调整。

DeepSeek-V4-Pro 是 DeepSeek-V4 的最大推理努力模式，显著提升了开源模型的知识能力，稳固确立了其作为当今最佳开源模型的地位。它在编码基准测试中取得顶级性能，并在推理和智能体任务上大幅缩小了与领先闭源模型的差距。

本文档将介绍该模型的主要验证步骤，包括支持的特性、特性配置、环境准备、单节点与多节点部署、精度和性能评估。

2 支持的特性

请参阅 支持的特性列表 获取模型支持的特性矩阵。

请参阅 特性指南 获取特性配置。

3 前提条件

3.1 模型权重

权重版本 硬件要求 下载链接
DeepSeek-V4-Pro-w4a8-mtp 2 个 Atlas 800 A3（128GB × 8）节点或 4 个 Atlas 800 A2（64GB × 8）节点 ModelScope
DeepSeek-V4-Pro-0813-w4a8 ModelScope

DeepSeek-V4-Pro-0813-w4a8（量化后集成 DSpark 的官方发布版）：该检查点包含 DSpark 草稿权重，因此无需单独的草稿模型路径。

建议将模型权重下载到多节点共享目录，例如 /root/.cache/。

路径说明：将模型权重下载到你选择的目录并记录下来。确保后续部署命令中的模型路径与该目录一致。

3.2 验证多节点通信（可选）

如果要部署多节点环境，需要根据 验证多节点通信环境 验证多节点通信。

4 安装

4.1 Docker 镜像安装

根据你的机器类型选择镜像，并在节点上启动 Docker 镜像，请参阅 使用 Docker。

在每个节点上启动 Docker 镜像。

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-a3
docker run --rm \
    --name vllm-ascend \
    --shm-size=512g \
    --net=host \
    --privileged=true \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci8 \
    --device /dev/davinci9 \
    --device /dev/davinci10 \
    --device /dev/davinci11 \
    --device /dev/davinci12 \
    --device /dev/davinci13 \
    --device /dev/davinci14 \
    --device /dev/davinci15 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /etc/hccn.conf:/etc/hccn.conf \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

在每个节点上启动 Docker 镜像。

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0
docker run --rm \
    --name vllm-ascend \
    --shm-size=512g \
    --net=host \
    --privileged=true \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /etc/hccn.conf:/etc/hccn.conf \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

Docker 运行成功后，可以通过执行 docker ps 命令验证正在运行的容器服务。

4.2 源码安装

如果你不想像上面那样使用 Docker 镜像，也可以从源码构建所有内容：

  • 从源码安装 vllm-ascend，请参阅 安装。

如果要部署多节点环境，需要在每个节点上配置环境。

5 在线服务部署

Note

在本教程中，我们假设您已将模型权重下载到 /root/.cache/modelscope/hub/models/vllm-ascend/。您可以将其更改为自己的路径。

建议将以下服务代码封装在 .sh 脚本文件中，并在 Bash 模式下执行。

5.1 多节点在线部署

量化模型 DeepSeek-V4-Pro-w4a8-mtp 至少需要 2 个 Atlas 800 A3（128GB × 8）节点或 4 个 Atlas 800 A2（64GB × 8）节点。请分别在每个节点上运行以下脚本。

节点0

local_ip="xxx"
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export IFNAME="xxx"
export GLOO_SOCKET_IFNAME="$IFNAME"
export TP_SOCKET_IFNAME="$IFNAME"
export HCCL_SOCKET_IFNAME="$IFNAME"
export HCCL_BUFFSIZE=512
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export ACL_OP_INIT_MODE=1
export VLLM_ENGINE_READY_TIMEOUT_S=3600
export HCCL_OP_EXPANSION_MODE="AIV"

export TASK_QUEUE_ENABLE=1

export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD

export HCCL_CONNECT_TIMEOUT=7200
export ASCEND_CONNECT_TIMEOUT=10000
export ASCEND_TRANSFER_TIMEOUT=10000
export VLLM_RPC_TIMEOUT=1800000

# Ensure the model path matches the directory recorded during download
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/DeepSeek-V4-Pro-w4a8-mtp \
  --host 0.0.0.0 \
  --port 8000 \
  --data-parallel-address $node0_ip  \
  --data-parallel-size 4 \
  --data-parallel-size-local 1 \
  --data-parallel-start-rank 0 \
  --tensor-parallel-size 8 \
  --enable-expert-parallel \
  --served-model-name dsv4 \
  --max-model-len 135000 \
  --max-num-batched-tokens 4096 \
  --max-num-seqs 16 \
  --gpu-memory-utilization 0.9 \
  --block-size 128 \
  --no-enable-prefix-caching \
  --tokenizer-mode deepseek_v4 \
  --tool-call-parser deepseek_v4 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v4 \
  --attention_config.indexer_kv_dtype int8 \
  --model-loader-extra-config '{
     "enable_multithread_load": true,
     "num_threads": 128
  }' \
  --quantization ascend \
  --speculative-config '{
     "num_speculative_tokens": 1,
     "method": "mtp",
     "enforce_eager": true
   }' \
  --compilation-config '{
     "cudagraph_mode":"FULL_DECODE_ONLY"
  }' \
  --additional-config '{
     "ascend_compilation_config":{
        "enable_npugraph_ex":true,
        "enable_static_kernel":false
     },
     "enable_cpu_binding": true,
     "enable_shared_expert_dp": true,
     "enable_flashcomm1": true,
     "multistream_overlap_shared_expert":true
  }'

节点1-节点3

local_ip="xxx"
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export IFNAME="xxx"
export GLOO_SOCKET_IFNAME="$IFNAME"
export TP_SOCKET_IFNAME="$IFNAME"
export HCCL_SOCKET_IFNAME="$IFNAME"
export HCCL_BUFFSIZE=512
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export ACL_OP_INIT_MODE=1
export VLLM_ENGINE_READY_TIMEOUT_S=3600
export HCCL_OP_EXPANSION_MODE="AIV"

export TASK_QUEUE_ENABLE=1

export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD

export HCCL_CONNECT_TIMEOUT=7200
export ASCEND_CONNECT_TIMEOUT=10000
export ASCEND_TRANSFER_TIMEOUT=10000
export VLLM_RPC_TIMEOUT=1800000

# Ensure the model path matches the directory recorded during download
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/DeepSeek-V4-Pro-w4a8-mtp \
  --host 0.0.0.0 \
  --port 8000 \
  --headless \
  --data-parallel-address $node0_ip  \
  --data-parallel-size 4 \
  --data-parallel-size-local 1 \
  --data-parallel-start-rank 1 \
  --tensor-parallel-size 8 \
  --enable-expert-parallel \
  --served-model-name dsv4 \
  --max-model-len 135000 \
  --max-num-batched-tokens 4096 \
  --max-num-seqs 16 \
  --gpu-memory-utilization 0.9 \
  --block-size 128 \
  --no-enable-prefix-caching \
  --tokenizer-mode deepseek_v4 \
  --tool-call-parser deepseek_v4 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v4 \
  --attention_config.indexer_kv_dtype int8 \
  --model-loader-extra-config '{
     "enable_multithread_load": true,
     "num_threads": 128
  }' \
  --quantization ascend \
  --speculative-config '{
     "num_speculative_tokens": 1,
     "method": "mtp",
     "enforce_eager": true
   }' \
  --compilation-config '{
     "cudagraph_mode":"FULL_DECODE_ONLY"
  }' \
  --additional-config '{
     "ascend_compilation_config":{
        "enable_npugraph_ex":true,
        "enable_static_kernel":false
     },
     "enable_cpu_binding": true,
     "enable_shared_expert_dp": true,
     "enable_flashcomm1": true,
     "multistream_overlap_shared_expert":true
  }'

节点0

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="xxx"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_BUFFSIZE=2048
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export TASK_QUEUE_ENABLE=1
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD

# Ensure the model path matches the directory recorded during download
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/DeepSeek-V4-Pro-w4a8-mtp \
  --host 0.0.0.0 \
  --port 8000 \
  --data-parallel-address $node0_ip \
  --data-parallel-rpc-port 13399 \
  --data-parallel-size 2 \
  --data-parallel-size-local 1 \
  --data-parallel-start-rank 0 \
  --tensor-parallel-size 16 \
  --enable-expert-parallel \
  --served-model-name dsv4 \
  --max-model-len 135000  \
  --max-num-batched-tokens 4096 \
  --max-num-seqs 32 \
  --gpu-memory-utilization 0.9 \
  --block-size 128 \
  --tokenizer-mode deepseek_v4 \
  --tool-call-parser deepseek_v4 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v4 \
  --attention_config.indexer_kv_dtype int8 \
  --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
  --quantization ascend \
  --speculative-config '{"num_speculative_tokens": 1,"method": "mtp","enforce_eager": true}' \
  --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
  --additional-config '
    {"ascend_compilation_config":{
        "enable_npugraph_ex":true,
        "enable_static_kernel":false
        },
    "enable_cpu_binding": true,
    "enable_flashcomm1": true,
    "multistream_overlap_shared_expert":true}'

节点1

```bash
# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="xxx"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_BUFFSIZE=2048
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export TASK_QUEUE_ENABLE=1
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD

# Ensure the model path matches the directory recorded during download
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/DeepSeek-V4-Pro-w4a8-mtp \
  --host 0.0.0.0 \
  --port 8000 \
  --headless \
  --data-parallel-address $node0_ip \
  --data-parallel-rpc-port 13399 \
  --data-parallel-size 2 \
  --data-parallel-size-local 1 \
  --data-parallel-start-rank 1 \
  --tensor-parallel-size 16 \
  --enable-expert-parallel \
  --served-model-name dsv4 \
  --max-model-len 135000  \
  --max-num-batched-tokens 4096 \
  --max-num-seqs 32 \
  --gpu-memory-utilization 0.9 \
  --block-size 128 \
  --tokenizer-mode deepseek_v4 \
  --tool-call-parser deepseek_v4 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v4 \
  --attention_config.indexer_kv_dtype int8 \
  --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
  --quantization ascend \
  --speculative-config '{"num_speculative_tokens": 1,"method": "mtp","enforce_eager": true}' \
  --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
  --additional-config '
    {"ascend_compilation_config":{
        "enable_npugraph_ex":true,
        "enable_static_kernel":false
        },
    "enable_cpu_binding": true,
    "enable_flashcomm1": true,
    "multistream_overlap_shared_expert":true}'
```

在两个节点上使用官方 DeepSeek-V4-Pro-0813-w4a8 检查点。该示例保留现有的 DP2/TP16 拓扑，仅更改 DSpark 相关和必需的运行时参数。

节点0

# nic_name is the network interface that owns local_ip on the current node.
nic_name="xxx"
local_ip="xxx"

# node0_ip must be the local_ip of Node0 on every node.
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_BUFFSIZE=1024
export HCCL_CONNECT_TIMEOUT=7200
export ASCEND_CONNECT_TIMEOUT=10000
export ASCEND_TRANSFER_TIMEOUT=10000
export VLLM_RPC_TIMEOUT=1800000
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export TASK_QUEUE_ENABLE=1
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib/
export VLLM_PREFIX_CACHE_RETENTION_INTERVAL=4096

vllm serve /path/to/DeepSeek-V4-Pro-0813-w4a8 \
  --host 0.0.0.0 \
  --port 8000 \
  --data-parallel-address $node0_ip \
  --data-parallel-rpc-port 13399 \
  --data-parallel-size 2 \
  --data-parallel-size-local 1 \
  --data-parallel-start-rank 0 \
  --tensor-parallel-size 16 \
  --enable-expert-parallel \
  --served-model-name dsv4 \
  --max-model-len 135000 \
  --max-num-batched-tokens 4096 \
  --max-num-seqs 16 \
  --gpu-memory-utilization 0.9 \
  --block-size 32 \
  --tokenizer-mode deepseek_v4 \
  --tool-call-parser deepseek_v4 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v4 \
  --attention_config.indexer_kv_dtype int8 \
  --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
  --quantization ascend \
  --speculative-config '{"num_speculative_tokens":5,"method":"dspark","enforce_eager":true}' \
  --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
  --additional-config '{
    "ascend_compilation_config": {
        "enable_npugraph_ex": true,
        "enable_static_kernel": false
    },
    "enable_cpu_binding": true,
    "enable_flashcomm1": true,
    "multistream_overlap_shared_expert": true
  }'

节点1

使用与节点0相同的环境变量和命令，并进行以下 DP 更改：

nic_name="xxx"
local_ip="xxx"
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_BUFFSIZE=1024
export HCCL_CONNECT_TIMEOUT=7200
export ASCEND_CONNECT_TIMEOUT=10000
export ASCEND_TRANSFER_TIMEOUT=10000
export VLLM_RPC_TIMEOUT=1800000
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export TASK_QUEUE_ENABLE=1
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib/
export VLLM_PREFIX_CACHE_RETENTION_INTERVAL=4096

vllm serve /path/to/DeepSeek-V4-Pro-0813-w4a8 \
  --host 0.0.0.0 \
  --port 8000 \
  --headless \
  --data-parallel-address $node0_ip \
  --data-parallel-rpc-port 13399 \
  --data-parallel-size 2 \
  --data-parallel-size-local 1 \
  --data-parallel-start-rank 1 \
  --tensor-parallel-size 16 \
  --enable-expert-parallel \
  --served-model-name dsv4 \
  --max-model-len 135000 \
  --max-num-batched-tokens 4096 \
  --max-num-seqs 16 \
  --gpu-memory-utilization 0.9 \
  --block-size 32 \
  --tokenizer-mode deepseek_v4 \
  --tool-call-parser deepseek_v4 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v4 \
  --attention_config.indexer_kv_dtype int8 \
  --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
  --quantization ascend \
  --speculative-config '{"num_speculative_tokens":5,"method":"dspark","enforce_eager":true}' \
  --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
  --additional-config '{
    "ascend_compilation_config": {
        "enable_npugraph_ex": true,
        "enable_static_kernel": false
    },
    "enable_cpu_binding": true,
    "enable_flashcomm1": true,
    "multistream_overlap_shared_expert": true
  }'

关键参数说明：

  • --data-parallel-size 设置全局数据并行 rank 数量，--data-parallel-size-local 设置当前节点上的 DP rank 数量。
  • --data-parallel-start-rank 指定当前节点的数据并行起始 rank。每个节点必须设置为唯一值（例如，Node0 = 0，Node1 = 1）。
  • --data-parallel-address 指定数据并行主节点（Node0）的 IP 地址。它必须在所有节点上保持一致。
  • --data-parallel-rpc-port 是 DP RPC 端口。所有节点使用相同值，并确保端口可用。
  • --tensor-parallel-size 设置每个 DP rank 内的张量并行大小。根据部署拓扑和可用 NPU 数量，与 DP 大小一起配置。
  • --enable-expert-parallel 为 MoE 层启用专家并行。不要在同一 MoE 层中混用 MoE 张量并行和专家并行。
  • --headless（用于非主节点）禁用该节点上的 API 服务器，因为只有主节点处理请求。
  • --max-model-len 指定最大上下文长度。根据实际场景调整。
  • --max-num-seqs 表示每个 DP 组允许处理的最大请求数。如果发送到服务的请求数超过此限制，超出请求将保持等待状态且不会被调度。注意，等待状态所花费的时间也会计入 TTFT 和 TPOT 等指标。因此，性能测试时通常建议 --max-num-seqs * --data-parallel-size >= 实际总并发数。
  • --max-num-batched-tokens 是单个调度步骤中处理的最大 token 数。更大的值可提高 prefill 效率，但会消耗更多激活内存。
  • --tokenizer-mode deepseek_v4、--tool-call-parser deepseek_v4、--enable-auto-tool-choice 和 --reasoning-parser deepseek_v4 启用 DeepSeek-V4 tokenizer 行为、自动工具调用和推理输出解析。
  • --no-enable-prefix-caching 表示禁用前缀缓存。若要启用，请移除此选项。
  • --block-size 设置 KV 缓存块大小。若要启用实验性 4k 前缀缓存命中支持，请将其从 128 改为 32。
  • --quantization ascend 为 W4A8 模型启用 Ascend 量化。
  • --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' 选择多线程权重迭代器。enable_multithread_load 必须是 JSON 布尔值，num_threads 必须是正整数。
  • --safetensors-load-strategy prefetch 是一种替代方案，在常规迭代器加载之前将检查点文件预热到操作系统页缓存中。不要与多线程加载组合使用：当 enable_multithread_load 为 true 时，默认加载器会拒绝 prefetch、eager 或 torchao。本文档中的示例仅使用多线程加载。
  • --speculative-config 配置推测解码。预览 MTP 检查点使用 mtp，DeepSeek-V4-Pro-0813-w4a8 使用 dspark。对于 DSpark，使用检查点声明的值；示例使用五个推测 token，所有 rank 必须使用相同值。
  • --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' 在解码阶段启用完整 ACL 图执行，以降低调度延迟。
  • --additional-config 启用 Ascend 特定优化。enable_npugraph_ex 启用增强型 ACL 图执行，enable_static_kernel: false 保持禁用静态内核编译，enable_cpu_binding 启用 Ascend 原生 CPU 绑定，enable_shared_expert_dp 为共享专家启用数据并行，multistream_overlap_shared_expert 重叠共享专家计算以提高 MoE 吞吐量。
  • --additional-config 中的 enable_flashcomm1: true 启用 FlashComm1 通信优化。这是已弃用的 VLLM_ASCEND_ENABLE_FLASHCOMM1 环境变量的推荐替代方案。只要启用 enable_dsa_cp，就会自动启用。
  • VLLM_PREFIX_CACHE_RETENTION_INTERVAL=4096 每 4096 个 token 保留前缀缓存检查点。它仅在前缀缓存启用时生效，且必须是 --block-size 的非负倍数；4096 与 DSpark 示例的块大小 32 匹配。

常见问题提示：如果遇到问题，请参阅公共常见问题解答进行故障排除。

服务验证：

curl http://<node0_ip>:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "dsv4",
        "messages": [
            {
                "role": "user",
                "content": "Who are you?"
            }
        ],
        "max_tokens": 256,
        "temperature": 0
    }'

预期结果：

服务返回 HTTP 200 OK，JSON 响应中包含 choices 字段。

5.2 多节点 PD 分离部署

我们建议使用 Mooncake 进行部署：Mooncake。

在标准部署模式下，Prefill（prompt 处理）和 Decode（token 生成）任务运行在同一组 NPU 上。PD（Prefill-Decode）分离通过将 Prefill 和 Decode 运行在专用节点组上来解决此问题，每个节点组独立配置。对于需要稳定延迟和高吞吐量的并发多用户工作负载的生产部署，推荐采用此架构。

以下章节描述在 Atlas 800 A3（128GB × 8）和 Atlas 800 A2（64GB × 8）多节点环境上的 PD 分离部署。

5.2.1 A3 系列 PD 分离部署

本节展示在 Atlas 800 A3（128GB × 8）上部署一个 Prefill 池和一个 Decode 池的示例。示例中每个池使用两个物理节点。

开始之前，请：

  1. 在每个节点上准备脚本 launch_online_dp.py。

    import argparse
import multiprocessing
import os
import subprocess
import sys

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--dp-size",
        type=int,
        required=True,
        help="Data parallel size."
    )
    parser.add_argument(
        "--tp-size",
        type=int,
        default=1,
        help="Tensor parallel size."
    )
    parser.add_argument(
        "--dp-size-local",
        type=int,
        default=-1,
        help="Local data parallel size."
    )
    parser.add_argument(
        "--dp-rank-start",
        type=int,
        default=0,
        help="Starting rank for data parallel."
    )
    parser.add_argument(
        "--dp-address",
        type=str,
        required=True,
        help="IP address for data parallel master node."
    )
    parser.add_argument(
        "--dp-rpc-port",
        type=str,
        default=12345,
        help="Port for data parallel master node."
    )
    parser.add_argument(
        "--vllm-start-port",
        type=int,
        default=9000,
        help="Starting port for the engine."
    )
    return parser.parse_args()

args = parse_args()
dp_size = args.dp_size
tp_size = args.tp_size
dp_size_local = args.dp_size_local
if dp_size_local == -1:
    dp_size_local = dp_size
dp_rank_start = args.dp_rank_start
dp_address = args.dp_address
dp_rpc_port = args.dp_rpc_port
vllm_start_port = args.vllm_start_port

def run_command(visible_devices, dp_rank, vllm_engine_port):
    command = [
        "bash",
        "./run_dp_template.sh",
        visible_devices,
        str(vllm_engine_port),
        str(dp_size),
        str(dp_rank),
        dp_address,
        dp_rpc_port,
        str(tp_size),
    ]
    subprocess.run(command, check=True)

if __name__ == "__main__":
    template_path = "./run_dp_template.sh"
    if not os.path.exists(template_path):
        print(f"Template file {template_path} does not exist.")
        sys.exit(1)

    processes = []
    num_cards = dp_size_local * tp_size
    for i in range(dp_size_local):
        dp_rank = dp_rank_start + i
        vllm_engine_port = vllm_start_port + i
        visible_devices = ",".join(str(x) for x in range(i * tp_size, (i + 1) * tp_size))
        process = multiprocessing.Process(target=run_command,
                                        args=(visible_devices, dp_rank,
                                                vllm_engine_port))
        processes.append(process)
        process.start()

    for process in processes:
        process.join()

参数说明：

|参数|类型|必填|默认值|描述|
|---------|----|--------|-------|-----------|
|`--dp-size`|int|是|-|数据并行大小（所有节点上 DP rank 的总数）。|
|`--tp-size`|int|否|1|每个 DP rank 内的张量并行大小。|
|`--dp-size-local`|int|否|（与 `--dp-size` 相同）|当前节点上的 DP rank 数量。如果未设置，默认为 `--dp-size`。|
|`--dp-rank-start`|int|否|0|本节点上数据并行 rank 的起始 rank 偏移量。|
|`--dp-address`|str|是|-|数据并行主节点的 IP 地址。|
|`--dp-rpc-port`|str|否|12345|数据并行主节点通信的 RPC 端口。|
|`--vllm-start-port`|int|否|9000|本节点上每个 vLLM 引擎实例的起始端口。|
  1. 选择以下配置之一，并在每个节点上准备 run_dp_template.sh。

两个 Prefill 节点使用相同的模板。将 local_ip 设置为当前节点的 IP 地址。

Prefill 节点

nic_name="xxxx" # change to your own nic name
local_ip=xx.xx.xx.x # use the IP of the current Prefill node

export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=120
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=1024
export TASK_QUEUE_ENABLE=1
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
export ASCEND_RT_VISIBLE_DEVICES=$1
# Ensure the model path matches the directory recorded during download
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/DeepSeek-V4-Pro-w4a8-mtp \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --served-model-name dsv4 \
    --max-model-len 131072 \
    --max-num-batched-tokens 4096 \
    --max-num-seqs 16 \
    --gpu-memory-utilization 0.92 \
    --block-size 128 \
    --no-disable-hybrid-kv-cache-manager \
    --tokenizer-mode deepseek_v4 \
    --tool-call-parser deepseek_v4 \
    --enable-auto-tool-choice \
    --reasoning-parser deepseek_v4 \
    --attention_config.indexer_kv_dtype int8 \
    --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
    --trust-remote-code \
    --quantization ascend \
    --enforce-eager \
    --speculative-config '{"num_speculative_tokens": 1,"method": "mtp","enforce_eager": true}' \
    --additional-config '{"enable_cpu_binding":true,"enable_dsa_cp":true,"enable_fused_mc2":1,"enable_flashcomm1":true}' \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeHybridConnector",
    "kv_role": "kv_producer",
    "kv_port": "30200",
    "engine_id": "1",
    "kv_connector_extra_config": {
                "prefill": {
                        "dp_size": 2,
                        "tp_size": 16
                },
                "decode": {
                        "dp_size": 16,
                        "tp_size": 2
                }
        }
    }'

两个 Decode 节点也使用同一个共享模板。将 local_ip 设置为当前节点的 IP 地址。

Decode 节点

nic_name="xxxx" # change to your own nic name
local_ip=xx.xx.xx.x # use the IP of the current Decode node

export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
export HCCL_OP_EXPANSION_MODE="AIV"
export TASK_QUEUE_ENABLE=1
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=2000
export HCCL_CONNECT_TIMEOUT=1200
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=1024
export ASCEND_RT_VISIBLE_DEVICES=$1

# Ensure the model path matches the directory recorded during download
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/DeepSeek-V4-Pro-w4a8-mtp \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --served-model-name dsv4 \
    --max-model-len 131072 \
    --max-num-batched-tokens 120 \
    --max-num-seqs 60 \
    --gpu-memory-utilization 0.9 \
    --block-size 128 \
    --no-enable-prefix-caching \
    --no-disable-hybrid-kv-cache-manager \
    --tokenizer-mode deepseek_v4 \
    --tool-call-parser deepseek_v4 \
    --enable-auto-tool-choice \
    --reasoning-parser deepseek_v4 \
    --attention_config.indexer_kv_dtype int8 \
    --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
    --trust-remote-code \
    --quantization ascend \
    --speculative-config '{"num_speculative_tokens": 1, "method":"mtp", "enforce_eager": true}' \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --additional-config '{
        "ascend_compilation_config":{
            "enable_npugraph_ex":true,
            "enable_static_kernel":false
        },
    "enable_cpu_binding":true,
    "scheduler_config":{"recompute_scheduler_enable":true}
    }' \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeHybridConnector",
    "kv_role": "kv_consumer",
    "kv_port": "30800",
    "engine_id": "8",
    "kv_connector_extra_config": {
                "prefill": {
                        "dp_size": 2,
                        "tp_size": 16
                },
                "decode": {
                        "dp_size": 16,
                        "tp_size": 2
                }
        }
    }'

启动两个 Prefill 节点和两个 Decode 节点。两个 Prefill 命令都是必需的，因为每个节点拥有不同的 DP rank 范围。

```shell
# Prefill node 0
python launch_online_dp.py --dp-size 2 --tp-size 16 --dp-size-local 1 --dp-rank-start 0 --dp-address xx.xx.xx.1 --dp-rpc-port 12321 --vllm-start-port 7100

# Prefill node 1
python launch_online_dp.py --dp-size 2 --tp-size 16 --dp-size-local 1 --dp-rank-start 1 --dp-address xx.xx.xx.1 --dp-rpc-port 12321 --vllm-start-port 7100

# Decode node 0
python launch_online_dp.py --dp-size 16 --tp-size 2 --dp-size-local 8 --dp-rank-start 0 --dp-address xx.xx.xx.3 --dp-rpc-port 12321 --vllm-start-port 7100

# Decode node 1
python launch_online_dp.py --dp-size 16 --tp-size 2 --dp-size-local 8 --dp-rank-start 8 --dp-address xx.xx.xx.3 --dp-rpc-port 12321 --vllm-start-port 7100
```

=== "A3 系列与 DSpark" {#a3-series-with-dspark}

官方 `DeepSeek-V4-Pro-0813-w4a8` 检查点支持 DSpark，无需单独的 draft-model 路径。复用上面的 `launch_online_dp.py`，并使用以下按角色区分的模板。

**Prefill 节点**

```shell
nic_name="xxxx" # change to the NIC that owns local_ip
local_ip="xx.xx.xx.x" # use the IP of the current Prefill node

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib/
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=6000
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=1024
export TASK_QUEUE_ENABLE=1
export HCCL_OP_EXPANSION_MODE="AIV"
export VLLM_PREFIX_CACHE_RETENTION_INTERVAL=4096
export ASCEND_RT_VISIBLE_DEVICES=$1

# Ensure the model path matches the directory recorded during download
vllm serve /path/to/DeepSeek-V4-Pro-0813-w4a8 \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --served-model-name dsv4 \
    --max-model-len 150000 \
    --max-num-batched-tokens 4096 \
    --max-num-seqs 16 \
    --gpu-memory-utilization 0.94 \
    --block-size 32 \
    --no-disable-hybrid-kv-cache-manager \
    --tokenizer-mode deepseek_v4 \
    --tool-call-parser deepseek_v4 \
    --enable-auto-tool-choice \
    --reasoning-parser deepseek_v4 \
    --attention_config.indexer_kv_dtype int8 \
    --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
    --trust-remote-code \
    --quantization ascend \
    --enforce-eager \
    --speculative-config '{"num_speculative_tokens":5,"method":"dspark","enforce_eager":true}' \
    --additional-config '{"enable_cpu_binding":true,"enable_dsa_cp":true,"enable_fused_mc2":1,"enable_flashcomm1":true}' \
    --kv-transfer-config \
    '{"kv_connector":"MooncakeHybridConnector",
      "kv_role":"kv_producer",
      "kv_port":"30100",
      "engine_id":"1",
      "kv_connector_extra_config":{
          "prefill":{"dp_size":4,"tp_size":8},
          "decode":{"dp_size":16,"tp_size":2}
      }
    }'
```

**Decode 节点**

```shell
nic_name="xxxx" # change to the NIC that owns local_ip
local_ip="xx.xx.xx.x" # use the IP of the current Decode node

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib/
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=1200
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=1800
export TASK_QUEUE_ENABLE=1
export ASCEND_RT_VISIBLE_DEVICES=$1

# Ensure the model path matches the directory recorded during download
vllm serve /path/to/DeepSeek-V4-Pro-0813-w4a8 \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --served-model-name dsv4 \
    --max-model-len 150000 \
    --max-num-batched-tokens 96 \
    --max-num-seqs 8 \
    --gpu-memory-utilization 0.95 \
    --block-size 32 \
    --no-enable-prefix-caching \
    --no-disable-hybrid-kv-cache-manager \
    --tokenizer-mode deepseek_v4 \
    --tool-call-parser deepseek_v4 \
    --enable-auto-tool-choice \
    --reasoning-parser deepseek_v4 \
    --attention_config.indexer_kv_dtype int8 \
    --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
    --trust-remote-code \
    --quantization ascend \
    --speculative-config '{"num_speculative_tokens":5,"method":"dspark","enforce_eager":true}' \
    --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
    --additional-config '{
      "ascend_compilation_config": {
          "enable_npugraph_ex": true,
          "enable_static_kernel": false
      },
      "enable_cpu_binding": true,
      "multistream_overlap_shared_expert": true,
      "scheduler_config": {"recompute_scheduler_enable": true}
    }' \
    --kv-transfer-config \
    '{"kv_connector":"MooncakeHybridConnector",
      "kv_role":"kv_consumer",
      "kv_port":"30800",
      "engine_id":"8",
      "kv_connector_extra_config":{
          "prefill":{"dp_size":4,"tp_size":8},
          "decode":{"dp_size":16,"tp_size":2}
      }
    }'
```

启动两个 Prefill 节点和两个 Decode 节点。分别将地址替换为 Prefill 和 Decode 主节点 IP。

```shell
# Prefill node 0
python launch_online_dp.py --dp-size 4 --tp-size 8 --dp-size-local 2 --dp-rank-start 0 --dp-address xx.xx.xx.1 --dp-rpc-port 12321 --vllm-start-port 7100

# Prefill node 1
python launch_online_dp.py --dp-size 4 --tp-size 8 --dp-size-local 2 --dp-rank-start 2 --dp-address xx.xx.xx.1 --dp-rpc-port 12321 --vllm-start-port 7100

# Decode node 0
python launch_online_dp.py --dp-size 16 --tp-size 2 --dp-size-local 8 --dp-rank-start 0 --dp-address xx.xx.xx.3 --dp-rpc-port 12321 --vllm-start-port 7100

# Decode node 1
python launch_online_dp.py --dp-size 16 --tp-size 2 --dp-size-local 8 --dp-rank-start 8 --dp-address xx.xx.xx.3 --dp-rpc-port 12321 --vllm-start-port 7100
```

  1. 部署 P-D 分离代理。

    参考 Prefill-Decode 分离（Deepseek） 部署 P-D 分离代理。

5.2.2 A2 系列 PD 分离部署

本节展示在 Atlas 800 A2（64GB × 8）上部署一个 Prefill 池和一个 Decode 池。示例中每个池使用四个物理节点。

开始前，请：

  1. 在每个节点上准备脚本 launch_online_dp.py。

    import argparse
import multiprocessing
import os
import subprocess
import sys

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--dp-size",
        type=int,
        required=True,
        help="Data parallel size."
    )
    parser.add_argument(
        "--tp-size",
        type=int,
        default=1,
        help="Tensor parallel size."
    )
    parser.add_argument(
        "--dp-size-local",
        type=int,
        default=-1,
        help="Local data parallel size."
    )
    parser.add_argument(
        "--dp-rank-start",
        type=int,
        default=0,
        help="Starting rank for data parallel."
    )
    parser.add_argument(
        "--dp-address",
        type=str,
        required=True,
        help="IP address for data parallel master node."
    )
    parser.add_argument(
        "--dp-rpc-port",
        type=str,
        default=12345,
        help="Port for data parallel master node."
    )
    parser.add_argument(
        "--vllm-start-port",
        type=int,
        default=9000,
        help="Starting port for the engine."
    )
    return parser.parse_args()

args = parse_args()
dp_size = args.dp_size
tp_size = args.tp_size
dp_size_local = args.dp_size_local
if dp_size_local == -1:
    dp_size_local = dp_size
dp_rank_start = args.dp_rank_start
dp_address = args.dp_address
dp_rpc_port = args.dp_rpc_port
vllm_start_port = args.vllm_start_port

def run_command(visible_devices, dp_rank, vllm_engine_port):
    command = [
        "bash",
        "./run_dp_template.sh",
        visible_devices,
        str(vllm_engine_port),
        str(dp_size),
        str(dp_rank),
        dp_address,
        dp_rpc_port,
        str(tp_size),
    ]
    subprocess.run(command, check=True)

if __name__ == "__main__":
    template_path = "./run_dp_template.sh"
    if not os.path.exists(template_path):
        print(f"Template file {template_path} does not exist.")
        sys.exit(1)

    processes = []
    num_cards = dp_size_local * tp_size
    for i in range(dp_size_local):
        dp_rank = dp_rank_start + i
        vllm_engine_port = vllm_start_port + i
        visible_devices = ",".join(str(x) for x in range(i * tp_size, (i + 1) * tp_size))
        process = multiprocessing.Process(target=run_command,
                                        args=(visible_devices, dp_rank,
                                                vllm_engine_port))
        processes.append(process)
        process.start()

    for process in processes:
        process.join()

  2. 在每个节点上准备脚本 run_dp_template.sh。

    1. Prefill 节点（4 个 P 节点共用同一脚本）

      nic_name="xxxx" # change to your own nic name
local_ip=xx.xx.xx.1/2/3/4 # change to your own ip

export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
export HCCL_OP_EXPANSION_MODE="AIV"
export TASK_QUEUE_ENABLE=1

export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=1200

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=1024

sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl kernel.sched_migration_cost_ns=50000

export ASCEND_RT_VISIBLE_DEVICES=$1

# Ensure the model path matches the directory recorded during download
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/DeepSeek-V4-Pro-w4a8-mtp \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --served-model-name dsv4 \
    --max-model-len 131072 \
    --max-num-batched-tokens 4096 \
    --max-num-seqs 16 \
    --gpu-memory-utilization 0.9 \
    --no-enable-prefix-caching \
    --no-disable-hybrid-kv-cache-manager \
    --tokenizer-mode deepseek_v4 \
    --tool-call-parser deepseek_v4 \
    --enable-auto-tool-choice \
    --reasoning-parser deepseek_v4 \
    --attention_config.indexer_kv_dtype int8 \
    --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
    --trust-remote-code \
    --quantization ascend \
    --enforce-eager \
    --speculative-config '{"num_speculative_tokens": 1, "method":"mtp", "enforce_eager": true}' \
    --additional-config '{"enable_cpu_binding":true,"enable_shared_expert_dp":true,"enable_dsa_cp":true,"enable_flashcomm1":true}' \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeHybridConnector",
    "kv_role": "kv_producer",
    "kv_port": "30000",
    "engine_id": "0",
    "kv_connector_extra_config": {
            "prefill": {
                "dp_size": 4,
                "tp_size": 8
            },
            "decode": {
                "dp_size": 8,
                "tp_size": 4
            }
      }
  }'

  3. 解码节点（4 个 D 节点共用同一脚本）

    ```shell
nic_name="xxxx" # change to your own nic name
local_ip=xx.xx.xx.5/6/7/8 # change to your own ip

export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
export HCCL_OP_EXPANSION_MODE="AIV"
export TASK_QUEUE_ENABLE=1

export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=1200

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=1024

sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl kernel.sched_migration_cost_ns=50000

export ASCEND_RT_VISIBLE_DEVICES=$1

# Ensure the model path matches the directory recorded during download
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/DeepSeek-V4-Pro-w4a8-mtp \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --served-model-name dsv4 \
    --max-model-len 131072 \
    --max-num-batched-tokens 120 \
    --max-num-seqs 60 \
    --gpu-memory-utilization 0.9 \
    --block-size 128 \
    --no-enable-prefix-caching \
    --no-disable-hybrid-kv-cache-manager \
    --tokenizer-mode deepseek_v4 \
    --tool-call-parser deepseek_v4 \
    --enable-auto-tool-choice \
    --reasoning-parser deepseek_v4 \
    --attention_config.indexer_kv_dtype int8 \
    --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
    --trust-remote-code \
    --quantization ascend \
    --speculative-config '{"num_speculative_tokens": 1, "method":"mtp", "enforce_eager": true}' \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --additional-config '{"ascend_compilation_config":{"enable_npugraph_ex":true,"enable_static_kernel":false}, "enable_cpu_binding":true, "scheduler_config":{"recompute_scheduler_enable":true}}' \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeHybridConnector",
    "kv_role": "kv_consumer",
    "kv_port": "30100",
    "engine_id": "1",
    "kv_connector_extra_config": {
            "prefill": {
                "dp_size": 4,
                "tp_size": 8
            },
            "decode": {
                "dp_size": 8,
                "tp_size": 4
            }
      }
  }'
```

  4. 在每台节点上使用以下命令启动服务器。

    1. 预填充节点 0

      # change ip to your own
python launch_online_dp.py --dp-size 4 --tp-size 8 --dp-size-local 1 --dp-rank-start 0 --dp-address xx.xx.xx.1 --dp-rpc-port 12321 --vllm-start-port 7100

    2. 预填充节点 1

      # change ip to your own
python launch_online_dp.py --dp-size 4 --tp-size 8 --dp-size-local 1 --dp-rank-start 1 --dp-address xx.xx.xx.1 --dp-rpc-port 12321 --vllm-start-port 7100

    3. 预填充节点 2

      # change ip to your own
python launch_online_dp.py --dp-size 4 --tp-size 8 --dp-size-local 1 --dp-rank-start 2 --dp-address xx.xx.xx.1 --dp-rpc-port 12321 --vllm-start-port 7100

    4. 预填充节点 3

      # change ip to your own
python launch_online_dp.py --dp-size 4 --tp-size 8 --dp-size-local 1 --dp-rank-start 3 --dp-address xx.xx.xx.1 --dp-rpc-port 12321 --vllm-start-port 7100

    5. 解码节点 0

      # change ip to your own
python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 2 --dp-rank-start 0 --dp-address xx.xx.xx.2 --dp-rpc-port 12321 --vllm-start-port 7100

    6. 解码节点 1

      # change ip to your own
python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 2 --dp-rank-start 2 --dp-address xx.xx.xx.2 --dp-rpc-port 12321 --vllm-start-port 7100

    7. 解码节点 2

      # change ip to your own
python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 2 --dp-rank-start 4 --dp-address xx.xx.xx.2 --dp-rpc-port 12321 --vllm-start-port 7100

    8. 解码节点 3

      # change ip to your own
python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 2 --dp-rank-start 6 --dp-address xx.xx.xx.2 --dp-rpc-port 12321 --vllm-start-port 7100

  5. 部署 P-D 分离代理。

    请参考 预填充-解码分离（Deepseek） 部署 P-D 分离代理。

关键参数说明：

  • --no-disable-hybrid-kv-cache-manager 保持混合 KV 缓存管理器处于启用状态。DeepSeek-V4 KV Pool 部署需要此标志；否则，服务在启动时可能出现 OOM。
  • --enforce-eager 在预填充节点上强制使用 eager 执行，而不是图编译。
  • --trust-remote-code 允许加载模型仓库中的自定义代码。仅使用受信任的模型仓库。
  • enable_dsa_cp: true 在预填充节点上启用 DSA 上下文并行。DSA-CP 依赖 FlashComm1，当 DSA-CP 开启时会自动启用，因此无需在同一个 --additional-config 对象中设置 "enable_flashcomm1": true。
  • --kv-transfer-config 配置 PD 分离中预填充生产者与解码消费者之间的 KV 缓存传输。
  • kv_connector_extra_config.prefill.dp_size/tp_size 和 decode.dp_size/tp_size 必须与预填充侧和解码侧实际的全局 DP 和 TP 布局相匹配。
  • additional_config.enable_fused_mc2=1：启用 Fused MC2 融合算子，以加速预填充节点（A3 系列）上的通信。
  • scheduler_config.recompute_scheduler_enable: true：启用重计算调度器。当解码节点的 KV 缓存不足时，请求会被发送到预填充节点进行 KV 缓存重计算。仅在 PD 解码节点上启用；旧版顶层键已弃用。
  • --speculative-config：预填充节点和解码节点必须使用相同的 DSpark num_speculative_tokens 值。请使用 checkpoint 中声明的值；本示例使用 5。嵌套的 enforce_eager 适用于 DSpark 草稿执行，而顶层 --enforce-eager 使预填充目标模型保持 eager 模式。
  • MooncakeHybridConnector：用于 PD 分离的 KV 传输连接器，在预填充节点和解码节点之间传输 KV 缓存。

部署验证：

PD分离服务完全启动后，通过prefill主节点上的代理端口发送请求，以验证Prefill和Decode节点是否正常协作。代理验证方法请参考Prefill-Decode分离（Deepseek）。

常见问题提示：如果遇到PD分离部署问题，请参阅公共FAQ进行故障排除。

6 功能验证

服务器启动后，您可以使用输入提示词查询模型：

在:中，使用主节点的IP地址和端口号。如果主备节点分离，则使用代理节点的IP地址和端口号。

curl http://<node0_ip>:<port>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "dsv4",
        "messages": [
            {
                "role": "user",
                "content": "Who are you?"
            }
        ],
        "max_tokens": 256,
        "temperature": 0
    }'

预期结果：

服务返回HTTP 200 OK，并返回包含choices字段的JSON响应。

7 精度评估

7.1 使用AISBench

  1. 详细信息请参考使用AISBench。

  2. 执行后即可获得结果。

数据集 版本 指标 模式 vllm-api-general-chat 备注
GPQA - 准确率 gen 91.41 0831官方W4A8权重，启用DSpark
GPQA - 准确率 gen 89.90 2台Atlas 800 A3（128GB × 8）
GSM8K - 准确率 gen 96.21 2台Atlas 800 A3（128GB × 8）

8 性能评估

8.1 使用AISBench

详细信息请参考使用AISBench进行性能评估。

8.2 使用vLLM Benchmark

更多详细信息请参考vllm benchmark。

9 性能调优

注意：以下配置基于第5章的部署示例和特定测试环境，仅供参考，并非全局最优。尤其是长上下文配置仅为约1M token输入的建议起点，必须根据实际输入/输出长度、前缀缓存命中率、并发、内存使用情况和部署环境进行验证。进一步调优请参考第9.2节。

表1：场景概览

*Total NPUs表示所有节点上使用的NPU总数。

场景 部署模式 *Total NPUs 权重版本 关键考量
短序列 / 高吞吐 1P1D部署（2个Prefill + 2个Decode A3节点） 64（A3） DeepSeek-V4-Pro-0813-w4a8 与长上下文配置相比，使用更高的DP和并发：Prefill使用DP4/TP8和16个序列，Decode使用DP16/TP2和8个序列。在Prefill上启用FUSED_MC2以优先保证吞吐量。
长上下文（约1M输入，参考） 1P1D部署（2个Prefill + 2个Decode A3节点） 64（A3） DeepSeek-V4-Pro-0813-w4a8 与短序列配置相比，两侧均使用DP2/TP16，将两侧序列数减少到2，并将Decode批量token数减少到16，以便为1M token上下文预留内存。

表2：详细节点配置

场景 配置 NPUs TP DP 最大序列数 最大批量Token数 最大模型长度 DSpark投机数 FUSED_MC2 EP开关 FC / DSA-CP开关
短序列 / 高吞吐 Prefill池 32（2个A3节点） 8 4 16 4096 150000 5 开启 开启 开启 / 开启
短序列 / 高吞吐 Decode池 32（2个A3节点） 2 16 8 96 150000 5 关闭 开启 关闭 / 关闭
长上下文（约1M输入，参考） Prefill池 32（2个A3节点） 16 2 2 4096 1048576 5 关闭 开启 开启 / 关闭
长上下文（约1M输入，参考） Decode池 32（2个A3节点） 16 2 2 16 1048576 5 关闭 开启 关闭 / 关闭

FC / DSA-CP开关分别表示FlashComm1和DSA上下文并行开关。对于长上下文Prefill配置，请在--additional-config中设置"enable_flashcomm1": true和"enable_dsa_cp": false。在Decode上，将重计算配置为"scheduler_config": {"recompute_scheduler_enable": true}。保持角色特定的--kv-transfer-config作为最后一个参数，Prefill使用"kv_port": "30100"和"engine_id": "1"，Decode使用"kv_port": "30800"和"engine_id": "8"。

在长上下文参考配置中禁用了FUSED_MC2，因为它会增加内存使用。如果内存充足且优先追求更高性能，建议在Prefill上启用FUSED_MC2。

--max-model-len 1048576是提示和生成token的总上下文预算，并不是在1M token提示之上额外的输出预算。如果内存不足，请减少--max-num-seqs或实际输入长度。

完整的启动命令和参数说明请参考第5章中的部署示例。

9.2 调优指南

9.2.1 通用调优参考

调优方法请参考公共性能调优文档。

详细功能说明请参考功能矩阵。

10 常见问题

针对常见的环境、安装和通用参数问题，请参考公共FAQ；本章仅涵盖模型相关问题。

本页原文 Markdown：在 AtomGit 查看·内容源自开源项目 vl/vllm-ascend