GLM-5 & GLM-5.1¶

    export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0
    docker run --rm \
        --name vllm-ascend \
        --shm-size=1g \
        --net=host \
        --device /dev/davinci0 \
        --device /dev/davinci1 \
        --device /dev/davinci2 \
        --device /dev/davinci3 \
        --device /dev/davinci4 \
        --device /dev/davinci5 \
        --device /dev/davinci6 \
        --device /dev/davinci7 \
        --device /dev/davinci_manager \
        --device /dev/devmm_svm \
        --device /dev/hisi_hdc \
        -v /usr/local/dcmi:/usr/local/dcmi \
        -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
        -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
        -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
        -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
        -v /etc/ascend_install.info:/etc/ascend_install.info \
        -v /root/.cache:/root/.cache \
        -it $IMAGE bash
    ```

    如果要部署多节点环境，需要在每个节点上配置环境。

    要验证环境是否安装成功，请参阅[安装](../../getting_started/installation.md)。

### 4.2 源代码安装 {#42-source-code-installation}

此外，如果你不想使用上述 Docker 镜像，也可以从源代码构建所有内容：

- 从源代码安装 `vllm-ascend`，请参阅[安装](../../getting_started/installation.md)。

如果要部署多节点环境，需要在每个节点上配置环境。

## 5 在线服务部署 {#5-online-service-deployment}

### 5.1 单节点在线部署 {#51-single-node-online-deployment}

=== "950DT 产品"

    - 量化模型 `glm-5-w4a4` 可部署在 1 台 950DT 产品（96GB × 8）上。

    运行以下脚本以执行在线推理。

    常见问题提示：如果遇到问题，请参阅[常见问题](../../faqs.md)。

    ```shell
    #!/usr/bin/env bash
    source /root/.bashrc
    # this obtained through ifconfig
    # nic_name is the network interface name corresponding to local_ip of the current node
    nic_name="xxx"
    local_ip="xxx"

    export HCCL_BUFFSIZE=400
    export HCCL_IF_IP=$local_ip
    export HCCL_INTRA_ROCE_ENABLE=0
    export HCCL_OP_EXPANSION_MODE="AIV"
    export HCCL_SOCKET_IFNAME=$nic_name
    export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
    export DYNAMIC_EPLB="true"
    export GLOO_SOCKET_IFNAME=$nic_name
    export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
    export PROMETHEUS_MULTIPROC_DIR=/dev/shm/vllm_metrics && mkdir -p $PROMETHEUS_MULTIPROC_DIR
    export HCCL_DFS_CONFIG="task_exception:off,inconsistent_check:off"
    export VLLM_ASCEND_ENABLE_PREFETCH_MLP=1

    # Ensure the model path matches the directory recorded during download
    vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM5-w4a4 \
    --host 0.0.0.0 \
    --port 8000 \
    --data-parallel-size 1 \
    --tensor-parallel-size 8 \
    --seed 1024 \
    --served-model-name glm-5 \
    --enable-expert-parallel \
    --max-num-seqs 128 \
    --max-model-len 202752 \
    --max-num-batched-tokens 8192 \
    --trust-remote-code \
    --enable-prefix-caching \
    --gpu-memory-utilization 0.95 \
    --quantization ascend \
    --enable-auto-tool-choice \
    --tool-call-parser glm47 \
    --reasoning-parser glm45 \
    --kv-cache-dtype int8 \
    --attention_config.indexer_kv_dtype int8 \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --hf-overrides '{"use_index_cache": true, "index_topk_freq": 4}' \
    --speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp", "enforce_eager": true}' \
    --additional-config '{"enable_cpu_binding": "True", "multistream_overlap_shared_expert": "True", "enable_dsa_cp": true, "eplb_config": {"dynamic_eplb": true, "expert_heat_collection_interval": 50, "algorithm_execution_interval": 5, "eplb_policy_type": 2, "num_redundant_experts": 0}, "enable_flashcomm1": true}'
    ```

=== "A3 系列"

    - 量化模型 `glm-5-w4a8` 和 `glm-5.1-w4a8` 可部署在 1 台 Atlas 800 A3（128GB × 8）上。

    运行以下脚本以执行在线推理。

    常见问题提示：如果遇到问题，请参阅[常见问题](../../faqs.md)。

    ```shell
    # The version of transformers needs to be upgraded to 5.2.0.
    # pip install transformers==5.2.0 --upgrade

    export HCCL_BUFFSIZE=200
    export HCCL_OP_EXPANSION_MODE="AIV"
    export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

    # Ensure the model path matches the directory recorded during download
    vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM5-w4a8 \
    --host 0.0.0.0 \
    --port 8000 \
    --data-parallel-size 1 \
    --tensor-parallel-size 16 \
    --enable-expert-parallel \
    --seed 1024 \
    --served-model-name glm-5 \
    --max-num-seqs 16 \
    --max-model-len 200000 \
    --max-num-batched-tokens 4096 \
    --trust-remote-code \
    --gpu-memory-utilization 0.95 \
    --quantization ascend \
    --enable-chunked-prefill \
    --enable-prefix-caching \
    --additional-config '{"multistream_overlap_shared_expert": true, "enable_balance_scheduling": true, "enable_flashcomm1": true}' \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --hf-overrides '{"use_index_cache": true, "index_topk_freq": 4}' \
    --speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp", "enforce_eager": true}'
    ```

=== "A2 系列"

    - 量化模型 `glm-5-w4a8` 可部署在 1 台 Atlas 800 A2（64GB × 8）上。

    运行以下脚本以执行在线推理。

    常见问题提示：如果遇到问题，请参阅[常见问题](../../faqs.md)。

    ```shell
    export HCCL_BUFFSIZE=200
    export HCCL_OP_EXPANSION_MODE="AIV"
    export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

    # Ensure the model path matches the directory recorded during download
    vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM5-w4a8 \
    --host 0.0.0.0 \
    --port 8000 \
    --data-parallel-size 1 \
    --tensor-parallel-size 8 \
    --enable-expert-parallel \
    --seed 1024 \
    --served-model-name glm-5 \
    --max-num-seqs 8 \
    --max-model-len 32768 \
    --max-num-batched-tokens 4096 \
    --trust-remote-code \
    --gpu-memory-utilization 0.95 \
    --quantization ascend \
    --enable-chunked-prefill \
    --enable-prefix-caching \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --additional-config '{"multistream_overlap_shared_expert": true, "enable_balance_scheduling": true, "enable_flashcomm1": true}' \
    --hf-overrides '{"use_index_cache": true, "index_topk_freq": 4}' \
    --speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp", "enforce_eager": true}'
    ```



关键参数说明：

以下仅描述特定于该模型/场景的关键参数。`max-model-len` 和 `max-num-seqs` 需要根据实际使用场景进行设置。

**模型特定参数：**

- `--enable-expert-parallel`：必须为 GLM-5 的 MoE 架构启用。
- `--tensor-parallel-size 16` / `--tensor-parallel-size 8`：每个 DP rank 内的张量并行。对于 A3（16 个 NPU），使用 `tp16`；对于 A2（8 个 NPU），使用 `tp8`。
- `--quantization ascend`：为 w4a8/w8a8 量化权重启用 Ascend 量化。
- `--speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp", "enforce_eager": true}'`：使用 GLM-5 的 DeepSeek 风格 MTP 草稿模型启用多 Token 预测（MTP）推测解码。`num_speculative_tokens`（3-5）控制每一步推测多少个 token；由于 GLM-5 不支持图模式推测解码，因此需要 `enforce_eager: true`。
- `--enable-chunked-prefill` / `--enable-prefix-caching`：推荐用于长上下文和多用户场景——分块预填充将长 prompt 拆分以改善 TTFT，前缀缓存可复用共享前缀（例如系统 prompt）的 KV 缓存。
- `--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}'`：仅对解码阶段启用图捕获，通过减少 kernel 启动开销来提升解码性能。
- `--additional-config '{"multistream_overlap_shared_expert": true}'`：在额外流上重叠共享专家计算。注意：当 `"enable_fused_mc2": true` 时会自动禁用，因为这两种优化相互冲突。

**关键 `--additional-config` 字段：**

- `"enable_flashcomm1": true`：启用 FlashComm 优化以减少通信开销（主要惠及预填充路径）。启用 FlashComm 后，`layer_sharding` 不能包含 `o_proj`。
- `"enable_mlapo": true`：启用 MLA 预处理融合算子（MlaPreprocessOperation）。对 w8a8 模型默认启用——可显著提升解码性能，但会消耗更多 NPU 内存；如果内存优先，请设置 `"enable_mlapo": false`。推荐用于 w8a8；w4a8 可能没有收益。
- `"enable_balance_scheduling": true`：启用均衡调度，以提升 v1 调度器中的输出吞吐量并降低 TPOT。

**单节点性能调优说明：**

- 对于低延迟场景，使用 `dp1tp16`（data-parallel-size 1，tensor-parallel-size 16），并考虑降低 `--max-num-seqs` 和 `--max-num-batched-tokens`。
- 对于高吞吐场景，增加 `--max-num-seqs` 并启用 `--enable-prefix-caching`。
- 对于长上下文场景（例如 200k），使用 w4a8 权重（为 KV 缓存留出更多内存），并将 `--max-model-len` 设置为期望的上下文长度。考虑启用 `--enable-chunked-prefill`。
- 如果遇到 OOM，请降低 `--gpu-memory-utilization`、`--max-num-seqs` 或 `--max-model-len`。禁用 `"enable_mlapo"` 也可以减少内存占用（以性能为代价）。

### 5.2 多节点部署 {#52-multi-node-deployment}

如果要部署多节点环境，需要根据 [验证多节点通信环境](../../getting_started/installation.md#installation-multi-node-interconnect) 验证多节点通信。

常见问题提示：如果遇到问题，请参阅 [常见问题](../../faqs.md)。

=== "A3 系列"

    **高吞吐场景（DP8 TP4）**

    - `glm-5.1-w8a8c8`：可部署在 2 台 Atlas 800 A3（128GB × 8）上，用于高吞吐场景。

    分别在两个节点上运行以下脚本。

    **节点 0**

    ```shell
    # this obtained through ifconfig
    # nic_name is the network interface name corresponding to local_ip of the current node
    nic_name="xxx"
    local_ip="xxx"
    export HCCL_BUFFSIZE=400
    export HCCL_IF_IP=$local_ip
    export HCCL_OP_EXPANSION_MODE="AIV"
    export HCCL_SOCKET_IFNAME=$nic_name
    export GLOO_SOCKET_IFNAME=$nic_name
    export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
    # Ensure the model path matches the directory recorded during download
    vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.1-W8A8C8-MTP \
    --host 0.0.0.0 \
    --port 8000 \
    --data-parallel-size 8 \
    --data-parallel-size-local 4 \
    --data-parallel-address $local_ip \
    --enable-expert-parallel \
    --data-parallel-rpc-port 12980 \
    --tensor-parallel-size 4 \
    --hf-overrides '{"use_index_cache": true, "index_topk_freq": 4}' \
    --seed 1024 \
    --served-model-name glm-5 \
    --tool-call-parser glm47 \
    --reasoning-parser glm45 \
    --enable-auto-tool-choice \
    --trust-remote-code \
    --gpu-memory-utilization 0.92 \
    --quantization ascend \
    --enable-chunked-prefill \
    --enable-prefix-caching \
    --async-scheduling \
    --kv-cache-dtype int8 \
    --attention_config.indexer_kv_dtype int8 \
    --additional-config '{"enable_dsa_cp": true, "enable_balance_scheduling": true, "fuse_muls_add": true, "enable_flashcomm1": true, "enable_fused_mc2": true, "enable_mlapo": true}' \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp","enforce_eager":true}'
    ```

    **节点 1**

    ```shell
    # this obtained through ifconfig
    # nic_name is the network interface name corresponding to local_ip of the current node
    nic_name="xxx"
    local_ip="xxx"
    # IP of node 0 (the data parallel master node), must be consistent with the local_ip of node 0
    node0_ip="xxxx"

    export HCCL_BUFFSIZE=400
    export HCCL_IF_IP=$local_ip
    export HCCL_OP_EXPANSION_MODE="AIV"
    export HCCL_SOCKET_IFNAME=$nic_name
    export GLOO_SOCKET_IFNAME=$nic_name
    export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
    # Ensure the model path matches the directory recorded during download
    vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.1-W8A8C8-MTP \
    --host 0.0.0.0 \
    --port 8000 \
    --headless \
    --data-parallel-size 8 \
    --data-parallel-size-local 4 \
    --data-parallel-start-rank 4 \
    --data-parallel-address $node0_ip \
    --enable-expert-parallel \
    --data-parallel-rpc-port 12980 \
    --tensor-parallel-size 4 \
    --hf-overrides '{"use_index_cache": true, "index_topk_freq": 4}' \
    --seed 1024 \
    --served-model-name glm-5 \
    --tool-call-parser glm47 \
    --reasoning-parser glm45 \
    --enable-auto-tool-choice \
    --trust-remote-code \
    --gpu-memory-utilization 0.92 \
    --quantization ascend \
    --enable-chunked-prefill \
    --enable-prefix-caching \
    --async-scheduling \
    --kv-cache-dtype int8 \
    --attention_config.indexer_kv_dtype int8 \
    --additional-config '{"enable_dsa_cp": true, "enable_balance_scheduling": true, "fuse_muls_add": true, "enable_flashcomm1": true, "enable_fused_mc2": true, "enable_mlapo": true}' \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp","enforce_eager":true}'
    ```



**注意：**

    - 当前缀缓存命中率 > 0 时，保留 `--enable-prefix-caching`（如上脚本所示）；当命中率为 0 时，将其替换为 `--no-enable-prefix-caching`。
    - `"enable_fused_mc2": true` 与 `"multistream_overlap_shared_expert": true` 冲突——当启用 fused MC2 时，运行时会自动禁用 `multistream_overlap_shared_expert`。

=== "A2 系列"

    分别在两个节点上运行以下脚本。

    **节点 0**

    ```shell
    # this obtained through ifconfig
    # nic_name is the network interface name corresponding to local_ip of the current node
    nic_name="xxx"
    local_ip="xxx"

    # The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
    node0_ip="xxx"

    export HCCL_BUFFSIZE=200
    export HCCL_IF_IP=$local_ip
    export HCCL_OP_EXPANSION_MODE="AIV"
    export HCCL_SOCKET_IFNAME=$nic_name
    export GLOO_SOCKET_IFNAME=$nic_name
    export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

    # Ensure the model path matches the directory recorded during download
    vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM5-w4a8 \
    --host 0.0.0.0 \
    --port 8000 \
    --data-parallel-size 2 \
    --data-parallel-size-local 1 \
    --data-parallel-address $node0_ip \
    --data-parallel-rpc-port 13389 \
    --tensor-parallel-size 8 \
    --quantization ascend \
    --seed 1024 \
    --served-model-name glm-5 \
    --enable-expert-parallel \
    --max-num-seqs 2 \
    --max-model-len 131072 \
    --max-num-batched-tokens 4096 \
    --trust-remote-code \
    --gpu-memory-utilization 0.95 \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --additional-config '{"multistream_overlap_shared_expert": true, "enable_balance_scheduling": true, "enable_flashcomm1": true}' \
    --hf-overrides '{"use_index_cache": true, "index_topk_freq": 4}' \
    --speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp", "enforce_eager": true}'
    ```

    **节点 1**

    ```shell
    # this obtained through ifconfig
    # nic_name is the network interface name corresponding to local_ip of the current node
    nic_name="xxx"
    local_ip="xxx"

    # The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
    node0_ip="xxx"

    export HCCL_BUFFSIZE=200
    export HCCL_IF_IP=$local_ip
    export HCCL_OP_EXPANSION_MODE="AIV"
    export HCCL_SOCKET_IFNAME=$nic_name
    export GLOO_SOCKET_IFNAME=$nic_name
    export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

    # Ensure the model path matches the directory recorded during download
    vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM5-w4a8 \
    --host 0.0.0.0 \
    --port 8000 \
    --headless \
    --data-parallel-size 2 \
    --data-parallel-size-local 1 \
    --data-parallel-start-rank 1 \
    --data-parallel-address $node0_ip \
    --data-parallel-rpc-port 13389 \
    --tensor-parallel-size 8 \
    --quantization ascend \
    --seed 1024 \
    --served-model-name glm-5 \
    --enable-expert-parallel \
    --max-num-seqs 2 \
    --max-model-len 131072 \
    --max-num-batched-tokens 4096 \
    --trust-remote-code \
    --gpu-memory-utilization 0.95 \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --additional-config '{"multistream_overlap_shared_expert": true, "enable_balance_scheduling": true, "enable_flashcomm1": true}' \
    --hf-overrides '{"use_index_cache": true, "index_topk_freq": 4}' \
    --speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp", "enforce_eager": true}'
    ```

多节点部署的关键参数说明：

除 [单节点在线部署](#51-single-node-online-deployment) 中描述的所有单节点参数外，以下参数专用于多节点部署：

**网络与数据并行配置：**

- `HCCL_IF_IP`、`GLOO_SOCKET_IFNAME`、`HCCL_SOCKET_IFNAME`：用于多节点通信的网络接口配置。将 `nic_name` 设置为网络接口名称（通过 `ifconfig` 获取），并将 `local_ip` 设置为当前节点的 IP 地址。必须在每个节点上正确配置这些变量，才能实现多节点通信。
- `--data-parallel-size`：所有节点上数据并行 rank 的总数。对于 2 节点部署，通常设置为 `2`。
- `--data-parallel-size-local`：当前节点上的数据并行 rank 数量。通常设置为 `1`（每个节点一个 DP rank）。
- `--data-parallel-address`：数据并行主节点（节点 0）的 IP 地址。必须与主节点的 `local_ip` 一致。
- `--data-parallel-rpc-port`：用于数据并行主节点通信的 RPC 端口。所有节点必须相同。
- `--headless`：表示当前节点为非主节点。不要在节点 0 上使用。
- `--data-parallel-start-rank`：本节点上数据并行 rank 的起始 rank 偏移。节点 0 使用 `0`；节点 1 使用节点 0 上的 DP rank 数量（例如 DP2 使用 `1`，DP8 使用 `4`）。

**多节点性能调优：**

- 对于低延迟多节点场景，请保持 `--data-parallel-size-local 1`，以最小化跨节点通信。
- 应根据模型加载后可用的 KV cache 内存来调整 `--max-num-seqs`。对于 A3 上 w8a8c8 198K 高吞吐场景，推荐 `6`；对于 198K 低延迟场景，推荐 `16`。对于 A2 多节点上的 w4a8 长上下文场景，建议从 `2` 开始，如果内存允许则增加。
- 多节点部署中的所有节点必须使用相同的 `--tensor-parallel-size`、`--enable-expert-parallel` 和模型权重路径配置。

**w8a8c8 专用的 `--additional-config` 字段：**

- `"enable_dsa_cp": true`：启用 DSA 上下文并行，以加速长上下文预填充。
- `"enable_balance_scheduling": true`：在 v1 调度器中提升输出吞吐量并降低 TPOT。当 Prefill-Decode 分离时不建议使用。
- `"fuse_muls_add": true`：融合乘加操作。
- `"multistream_overlap_shared_expert": true`：在额外流上重叠共享专家计算。当 `"enable_fused_mc2": true` 时会自动禁用。



### 5.3 预填充-解码分离 {#53-prefill-decode-disaggregation}

我们希望展示在具有预填充-解码（PD）分离的多节点环境中部署 `GLM-5` 的指南，以获得更好的性能。*预填充-解码分离* 指将预填充阶段和解码阶段分离到不同节点上，以提升吞吐量并降低延迟。

在 PD 分离场景中，Mooncake 用作预填充节点和解码节点之间的 KV 缓存传输连接器。有关 Mooncake 配置，请参阅 [KV 缓存池（Ascend Store）部署指南](https://github.com/vllm-project/vllm-ascend/blob/main/docs/source/user_guide/feature_guide/kv_pool.md)。

#### 5.3.1 预填充-解码分离（950DT 产品） {#531-prefill-decode-disaggregation-950dt-products}

开始之前，请

在每个节点上准备脚本 `launch_online_dp.py`：

```python
import argparse
import multiprocessing
import os
import subprocess
import sys
def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--dp-size",
        type=int,
        required=True,
        help="Data parallel size."
    )
    parser.add_argument(
        "--tp-size",
        type=int,
        default=1,
        help="Tensor parallel size."
    )
    parser.add_argument(
        "--dp-size-local",
        type=int,
        default=-1,
        help="Local data parallel size."
    )
    parser.add_argument(
        "--dp-rank-start",
        type=int,
        default=0,
        help="Starting rank for data parallel."
    )
    parser.add_argument(
        "--dp-address",
        type=str,
        required=True,
        help="IP address for data parallel master node."
    )
    parser.add_argument(
        "--dp-rpc-port",
        type=str,
        default=12345,
        help="Port for data parallel master node."
    )
    parser.add_argument(
        "--vllm-start-port",
        type=int,
        default=8000,
        help="Starting port for the engine."
    )
    return parser.parse_args()
args = parse_args()
dp_size = args.dp_size
tp_size = args.tp_size
dp_size_local = args.dp_size_local
if dp_size_local == -1:
    dp_size_local = dp_size
dp_rank_start = args.dp_rank_start
dp_address = args.dp_address
dp_rpc_port = args.dp_rpc_port
vllm_start_port = args.vllm_start_port
def run_command(visible_devices, dp_rank, vllm_engine_port):
    command = [
        "bash",
        "./run_dp_template.sh",
        visible_devices,
        str(vllm_engine_port),
        str(dp_size),
        str(dp_rank),
        dp_address,
        dp_rpc_port,
        str(tp_size),
    ]
    subprocess.run(command, check=True)
if __name__ == "__main__":
    template_path = "./run_dp_template.sh"
    if not os.path.exists(template_path):
        print(f"Template file {template_path} does not exist.")
        sys.exit(1)
    processes = []
    num_cards = dp_size_local * tp_size
    for i in range(dp_size_local):
        dp_rank = dp_rank_start + i
        vllm_engine_port = vllm_start_port + i
        visible_devices = ",".join(str(x) for x in range(i * tp_size, (i + 1) * tp_size))
        process = multiprocessing.Process(target=run_command,
                                        args=(visible_devices, dp_rank,
                                                vllm_engine_port))
        processes.append(process)
        process.start()
    for process in processes:
        process.join()

import argparse
import multiprocessing
import os
import subprocess
import sys

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument("--dp-size", type=int, required=True, help="Data parallel size.")
    parser.add_argument("--tp-size", type=int, default=1, help="Tensor parallel size.")
    parser.add_argument("--pp-size", type=int, default=1, help="Pipeline parallel size.")
    parser.add_argument("--dp-size-local", type=int, default=-1, help="Local data parallel size.")
    parser.add_argument("--dp-rank-start", type=int, default=0, help="Starting rank for data parallel.")
    parser.add_argument("--dp-address", type=str, required=True, help="IP address for data parallel master node.")
    parser.add_argument("--dp-rpc-port", type=str, default="12321", help="Port for data parallel master node.")
    parser.add_argument("--vllm-start-port", type=int, default=8000, help="Starting port for the engine.")
    return parser.parse_args()

args = parse_args()
dp_size = args.dp_size
tp_size = args.tp_size
pp_size = args.pp_size
dp_size_local = args.dp_size_local
if dp_size_local == -1:
    dp_size_local = dp_size
dp_rank_start = args.dp_rank_start
dp_address = args.dp_address
dp_rpc_port = args.dp_rpc_port
vllm_start_port = args.vllm_start_port
gpus_per_dp_rank = tp_size * pp_size

def run_command(visible_devices, dp_rank, vllm_engine_port):
    command = [
        "bash",
        "./run_dp_template.sh",
        visible_devices,
        str(vllm_engine_port),
        str(dp_size),
        str(dp_rank),
        dp_address,
        dp_rpc_port,
        str(tp_size),
        str(pp_size),
    ]
    subprocess.run(command, check=True)

if __name__ == "__main__":
    template_path = "./run_dp_template.sh"
    if not os.path.exists(template_path):
        print(f"Template file {template_path} does not exist.")
        sys.exit(1)

    processes = []
    num_cards = dp_size_local * gpus_per_dp_rank

    for i in range(dp_size_local):
        dp_rank = dp_rank_start + i
        vllm_engine_port = vllm_start_port + i
        visible_devices = ",".join(str(x) for x in range(i * gpus_per_dp_rank, (i + 1) * gpus_per_dp_rank))
        process = multiprocessing.Process(
            target=run_command,
            args=(visible_devices, dp_rank, vllm_engine_port)
        )
        processes.append(process)
        process.start()

    for process in processes:
        process.join()

unset http_proxy
unset https_proxy

python load_balance_proxy_server_example.py \
    --port 8000 \
    --host 0.0.0.0 \
    --prefiller-hosts \
    $node_p0_ip \
    $node_p1_ip \
    --prefiller-ports \
    6700 \
    6700 \
    --decoder-hosts \
    $node_d0_ip \
    $node_d0_ip \
    $node_d0_ip \
    $node_d0_ip \
    $node_d0_ip \
    $node_d0_ip \
    $node_d0_ip \
    $node_d0_ip \
    $node_d1_ip \
    $node_d1_ip \
    $node_d1_ip \
    $node_d1_ip \
    $node_d1_ip \
    $node_d1_ip \
    $node_d1_ip \
    $node_d1_ip \
    --decoder-ports \
    6721 6722 6723 6724 6725 6726 6727 6728 \
    6721 6722 6723 6724 6725 6726 6727 6728

unset http_proxy
unset https_proxy

python load_balance_proxy_server_example.py \
    --port 8000 \
    --host 0.0.0.0 \
    --prefiller-hosts \
    $node_p0_ip \
    --prefiller-ports \
    8000 \
    --decoder-hosts \
    $node_d0_ip \
    $node_d0_ip \
    $node_d0_ip \
    $node_d0_ip \
    $node_d1_ip \
    $node_d1_ip \
    $node_d1_ip \
    $node_d1_ip \
    --decoder-ports \
    8000 8001 8002 8003 \
    8000 8001 8002 8003

curl http://<node0_ip>:<port>/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "glm-5",
        "prompt": "The future of AI is",
        "max_completion_tokens": 15,
        "temperature": 0
    }'

{"id": "chatcmlib-bc44ad093dec79a2", "object": "chat.completion", "created": "1770903266", "model": "glm-5", "choices": [{ "index": 0, "message": {"role": "assistant", "content": "The future of AI is not one thing, but a convergence of several powerful trends.", "annotations": "null", "audio": "null", "function_call": "null", "tool_calls": [], "reasoning": "null"}, "logprobs": "null", "finish_reason": "length", "stop_reason": "null", "token_ids": null}], "service_tier": "null", "system fingerprint": "null", "usage": {"prompt_tokens": 5, "total_tokens": 20, "completion_tokens": 15, "prompt_tokens_details": null}, "prompt_logprobs": "null", "prompt_token_ids": "null", "kv_transfer_params": null}

--tool-call-parser glm47 \
--reasoning-parser glm45 \
--enable-auto-tool-choice \