Kimi-K2.6¶

1 引言¶

Kimi K2.6 是一个开源的原生多模态智能体模型，基于 Kimi-K2-Base 持续预训练约 15 万亿混合视觉和文本 token 构建而成。它将视觉和语言理解与先进的智能体能力、即时模式和思考模式，以及对话式和智能体式范式无缝集成。

本文档将展示该模型的主要验证步骤，包括支持的特性、特性配置、环境准备、单节点和多节点部署、精度与性能评估。

本文档基于 vLLM-Ascend v0.20.0rc1 进行验证和编写。当前模型（Kimi-K2.6）在该版本中首次得到支持。

2 支持的特性¶

请参考支持特性列表获取该模型的支持特性矩阵。

请参考特性指南获取特性的配置。

3 前提条件¶

3.1 模型权重¶

权重版本	硬件要求	下载链接
`Kimi-K2.6-w4a8`（w4a8 量化版本）	1 个 Atlas 800 A3（64GB × 16）节点或 2 个 Atlas 800 A2（64GB × 8）节点	ModelScope
`kimi-k2.6-eagle3`（用于加速 Kimi-K2.6 推理的 Eagle3 MTP 草稿模型）		Hugging Face
`Kimi-K2.5-DFlash`（一种推测解码框架，利用轻量级块扩散模型进行并行草稿生成）		Hugging Face

建议将模型权重下载到多节点共享目录，例如 /root/.cache/。

路径说明：将模型权重下载到您选择的目录并记录下来。确保后续部署命令中的模型路径与该目录一致。

3.2 验证多节点通信（可选）¶

如果要部署多节点环境，您需要按照验证多节点通信环境验证多节点通信。

4 安装¶

4.1 Docker 镜像安装¶

根据您的机器类型选择镜像，并在节点上启动 Docker 镜像，请参考使用 Docker。

A3 系列A2 系列

在每个节点上启动 Docker 镜像。

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-a3
docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --net=host \
    --privileged=true \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci8 \
    --device /dev/davinci9 \
    --device /dev/davinci10 \
    --device /dev/davinci11 \
    --device /dev/davinci12 \
    --device /dev/davinci13 \
    --device /dev/davinci14 \
    --device /dev/davinci15 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

在每个节点上启动 Docker 镜像。

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0
docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --net=host \
    --privileged=true \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

Docker 运行成功后，您可以执行 docker ps 命令验证容器服务是否正常运行。

4.2 源码安装¶

如果您不想像上面那样使用 Docker 镜像，也可以从源码构建所有内容：

从源码安装 vllm-ascend，请参考安装。

如果要部署多节点环境，您需要在每个节点上配置环境。

要使用 tool_calls 功能，请确保您的 transformers 版本为 4.57.6 或更低。如果 vllm-ascend 已升级到 v0.21 或更高版本，则不再需要此要求。

5 在线服务部署¶

5.1 单节点在线部署¶

单节点部署在同一节点内完成 Prefill 和 Decode。量化模型 Kimi-K2.6-w4a8 可部署在 1 个 Atlas 800 A3（64GB × 16）节点上。

虽然单节点设置支持所有输入/输出场景，但为了获得最佳性能，建议部署多节点。

Startup Command:

#!/bin/sh
export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1

# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl -w kernel.sched_migration_cost_ns=50000

export HCCL_BUFFSIZE=600

# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Kimi-K2.6-W4A8 \
    --quantization ascend \
    --tool-call-parser kimi_k2 \
    --reasoning-parser kimi_k2 \
    --allowed-local-media-path / \
    --served-model-name kimi_k26 \
    --trust-remote-code \
    --tensor-parallel-size 4 \
    --data-parallel-size 4 \
    --no-enable-prefix-caching \
    --enable-expert-parallel \
    --port 8000 \
    --max-num-seqs 4 \
    --max-model-len 34816 \
    --max-num-batched-tokens 16384 \
    --gpu-memory-utilization 0.87 \
    --seed 42 \
    --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
    --profiler-config '{"profiler": "torch", "torch_profiler_dir": "./vllm_profile", "torch_profiler_with_stack": true}' \
    --mm-processor-cache-gb 0 \
    --mm-encoder-tp-mode data \
    --additional-config '{"scheduler_config":{"enable_balance_scheduling":false},"enable_mlapo":true}' \
    --speculative-config '{"method": "dflash","model": "z-lab/Kimi-K2.5-DFlash", "num_speculative_tokens": 15}'

Key Parameter Descriptions:

设置 additional_config.scheduler_config.enable_balance_scheduling=true 可启用均衡调度。这有助于在 v1 调度器中提高输出吞吐量并降低 TPOT。但在某些场景下，TTFT 可能会变差。此外，不建议在 PD 分离的场景中启用该功能。
--max-model-len 指定最大上下文长度，即单个请求的输入和输出 Token 总数。对于输入长度为 3.5k、输出长度为 1.5k 的性能测试，设置 16384 即可；但对于精度测试，请至少设置为 35000。
--no-enable-prefix-caching 表示禁用前缀缓存。若要启用，请移除该选项。
--mm-encoder-tp-mode 表示如何使用张量并行（TP）优化多模态编码器推理。如果要测试多模态输入，建议使用 data。
如果使用 w4a8 权重，会有更多内存分配给 kvcache，可以尝试增大 --max-num-seqs 以提高系统吞吐量。

Common Issues Tip: 如果遇到问题，请参阅公共 FAQ进行故障排查。

Service Verification:

curl http://<node_ip>:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "kimi_k26",
        "messages": [{
            "role": "user",
            "content": [
            {
                "type": "text",
                "text": "The future of AI is"
            }]
        }],
        "max_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

Expected Result:

服务返回 HTTP 200 OK，并返回包含 choices 字段的 JSON 响应。示例输出（为简洁起见，内容已截断）：

{
    "id": "chatcmpl-9df13fd5e539af93",
    "object": "chat.completion",
    "created": 1780971952,
    "model": "kimi_k26",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "The future of AI is not a destination we are passively approaching, but a design problem we are actively solving right now...",
                "reasoning": "The user is asking for my thoughts on \"The future of AI is\"...",
                "refusal": null,
                "annotations": null,
                "audio": null,
                "function_call": null
            },
            "logprobs": null,
            "finish_reason": "length",
            "stop_reason": null,
            "token_ids": null
        }
    ],
    "usage": {
        "prompt_tokens": 13,
        "total_tokens": 1037,
        "completion_tokens": 1024,
        "completion_tokens_details": {
            "reasoning_tokens": 0,
            "audio_tokens": null,
            "accepted_prediction_tokens": null,
            "rejected_prediction_tokens": null
        }
    }
}

5.2 多节点 PD 分离部署¶

我们建议使用 Mooncake 进行部署：Mooncake。

在标准单节点部署模式下，Prefill（Prompt 处理）和 Decode（Token 生成）任务运行在同一组 NPU 上。这可能导致两个问题：

Prefill 抢占中断 Decode：Prefill 是计算密集型任务，会一次性处理整个输入上下文，而 Decode 逐个生成 Token。当新的用户请求到达时，其 Prefill 阶段可能会抢占并中断正在进行的 Decode 任务，导致抖动和更高的每输出 Token 时间（TPOT）延迟。
资源分配不灵活：Prefill 和 Decode 的计算特性存在根本差异——Prefill 受计算限制且对内存带宽需求高，而 Decode 受内存带宽限制。将它们运行在同一硬件上会迫使系统做出折中，无法使任何一方都达到最优。

PD（Prefill-Decode）分离通过在专用节点组上分别运行 Prefill 和 Decode 来解决这些问题，每个节点组可独立配置：

Prefill 节点专注于高吞吐量的 Prompt 处理，针对计算和通信进行优化（例如，启用序列并行以加速 Allreduce）。
Decode 节点专注于低延迟 Token 生成，针对内存带宽进行优化（例如，启用 MLAPO 融合算子）。

该架构推荐用于具有并发多用户工作负载的生产部署，同时需要稳定的延迟和高吞吐量。

以 Atlas 800 A3（64GB × 16）为例，我们推荐部署 2P1D（4 个节点），而不是 1P1D（2 个节点），因为在 1P1D 情况下 NPU 内存不足以支撑高并发。

Kimi-K2.6-w4a8 2P1D：需要 4 个 Atlas 800 A3（64GB × 16）节点。

要运行 vllm-ascend 的 Prefill-Decode Disaggregation 服务，需要在每个节点上部署 launch_online_dp.py 脚本和 run_dp_template.sh 脚本，并在 prefill 主节点上部署 proxy.sh 脚本以转发请求。

launch_online_dp.py

参数说明：

参数	类型	必填	默认值	描述
`--dp-size`	int	是	-	数据并行大小（所有节点上 DP rank 的总数）。
`--tp-size`	int	否	1	每个 DP rank 内的张量并行大小。
`--dp-size-local`	int	否	（与 `--dp-size` 相同）	当前节点上的 DP rank 数量。如果未设置，默认为 `--dp-size`。
`--dp-rank-start`	int	否	0	本节点上数据并行 rank 的起始 rank 偏移。
`--dp-address`	str	是	-	数据并行主节点（节点 0）的 IP 地址。
`--dp-rpc-port`	str	否	12345	数据并行主节点通信的 RPC 端口。
`--vllm-start-port`	int	否	9000	本节点上每个 vLLM 引擎实例的起始端口。每个 DP rank 的引擎端口 = `vllm_start_port` + 本地 rank 索引。

run_dp_template.sh 脚本

节点 0（Prefill）节点 1（Prefill）节点 0(解码)节点 1(解码)

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="192.xx.xx.1"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name

# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl kernel.sched_migration_cost_ns=50000
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=120

export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1
export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH

export HCCL_BUFFSIZE=1536
export ASCEND_RT_VISIBLE_DEVICES=$1

# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Kimi-K2.6-W4A8 \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --quantization ascend \
    --served-model-name kimi_k26 \
    --trust-remote-code \
    --max-num-seqs 1 \
    --max-model-len 133120 \
    --max-num-batched-tokens 16384 \
    --no-enable-prefix-caching \
    --gpu-memory-utilization 0.92 \
    --enforce-eager \
    --enable-auto-tool-choice \
    --tool-call-parser kimi_k2 \
    --reasoning-parser kimi_k2 \
    --additional-config '{"recompute_scheduler_enable":true,"enable_shared_expert_dp": true}' \
    --mm-encoder-tp-mode data \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeConnectorV1",
    "kv_role": "kv_producer",
    "kv_port": "30000",
    "engine_id": "0",
    "kv_connector_extra_config": {
            "use_ascend_direct": true,
            "prefill": {
                    "dp_size": 4,
                    "tp_size": 4
            },
            "decode": {
                    "dp_size": 8,
                    "tp_size": 4
            }
        }
    }'

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="192.xx.xx.2"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name

# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl kernel.sched_migration_cost_ns=50000
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=120

export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1
export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH

export HCCL_BUFFSIZE=1536
export ASCEND_RT_VISIBLE_DEVICES=$1

# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Kimi-K2.6-W4A8 \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --quantization ascend \
    --served-model-name kimi_k26 \
    --trust-remote-code \
    --max-num-seqs 1 \
    --max-model-len 133120 \
    --max-num-batched-tokens 16384 \
    --no-enable-prefix-caching \
    --gpu-memory-utilization 0.92 \
    --enforce-eager \
    --enable-auto-tool-choice \
    --tool-call-parser kimi_k2 \
    --reasoning-parser kimi_k2 \
    --additional-config '{"recompute_scheduler_enable":true,"enable_shared_expert_dp": true}' \
    --mm-encoder-tp-mode data \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeConnectorV1",
    "kv_role": "kv_producer",
    "kv_port": "30100",
    "engine_id": "1",
    "kv_connector_extra_config": {
            "prefill": {
                    "dp_size": 4,
                    "tp_size": 4
            },
            "decode": {
                    "dp_size": 8,
                    "tp_size": 4
            }
        }
    }'

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="192.xx.xx.3"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name

# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl kernel.sched_migration_cost_ns=50000
export VLLM_RPC_TIMEOUT=3600000
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=120
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000

export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1
export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH

export HCCL_BUFFSIZE=800
export ASCEND_RT_VISIBLE_DEVICES=$1

# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Kimi-K2.6-W4A8 \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --quantization ascend \
    --served-model-name kimi_k26 \
    --trust-remote-code \
    --max-num-seqs 8 \
    --max-model-len 133720 \
    --max-num-batched-tokens 32 \
    --no-enable-prefix-caching \
    --gpu-memory-utilization 0.91 \
    --enable-auto-tool-choice \
    --tool-call-parser kimi_k2 \
    --reasoning-parser kimi_k2 \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --additional-config '{"recompute_scheduler_enable":true,"multistream_overlap_shared_expert":true,"enable_mlapo":true}' \
    --speculative-config '{"method": "eagle3", "model":"lightseekorg/kimi-k2.6-eagle3", "num_speculative_tokens": 3}' \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeConnectorV1",
    "kv_role": "kv_consumer",
    "kv_port": "30200",
    "engine_id": "2",
    "kv_connector_extra_config": {
            "prefill": {
                    "dp_size": 4,
                    "tp_size": 4
            },
            "decode": {
                    "dp_size": 8,
                    "tp_size": 4
            }
        }
    }'

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="192.xx.xx.4"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name

# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl kernel.sched_migration_cost_ns=50000
export VLLM_RPC_TIMEOUT=3600000
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=120
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000

export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1
export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH

export HCCL_BUFFSIZE=800
export ASCEND_RT_VISIBLE_DEVICES=$1

# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Kimi-K2.6-W4A8 \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --quantization ascend \
    --served-model-name kimi_k26 \
    --trust-remote-code \
    --max-num-seqs 8 \
    --max-model-len 133720 \
    --max-num-batched-tokens 32 \
    --no-enable-prefix-caching \
    --gpu-memory-utilization 0.91 \
    --enable-auto-tool-choice \
    --tool-call-parser kimi_k2 \
    --reasoning-parser kimi_k2 \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --additional-config '{"recompute_scheduler_enable":true,"multistream_overlap_shared_expert":true,"enable_mlapo":true}' \
    --speculative-config '{"method": "eagle3", "model":"lightseekorg/kimi-k2.6-eagle3", "num_speculative_tokens": 3}' \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeConnectorV1",
    "kv_role": "kv_consumer",
    "kv_port": "30300",
    "engine_id": "3",
    "kv_connector_extra_config": {
            "prefill": {
                    "dp_size": 4,
                    "tp_size": 4
            },
            "decode": {
                    "dp_size": 8,
                    "tp_size": 4
            }
        }
    }'

关键参数说明：

- `additional_config.enable_mlapo=true`：启用融合算子，可显著提升性能，但会消耗更多 NPU 内存。在 Prefill-Decode（PD）分离场景中，仅在 decode 节点上启用 MLAPO。
- `recompute_scheduler_enable: true`：启用重计算调度器。当 decode 节点的键值缓存（KV Cache）不足时，请求将被发送到 prefill 节点以重新计算 KV Cache。在 PD 分离场景中，建议同时在 prefill 和 decode 节点上启用该配置。
- `multistream_overlap_shared_expert: true`：当 Tensor Parallelism（TP）大小为 1 或 `enable_shared_expert_dp: true` 时，会启用一个额外流，以重叠共享专家的计算过程，从而提升效率。

在每个节点上运行服务器：

# p0
python launch_online_dp.py --dp-size 4 --tp-size 4 --dp-size-local 4 --dp-rank-start 0 --dp-address 192.xx.xx.1 --dp-rpc-port 12321 --vllm-start-port 7100
# p1
python launch_online_dp.py --dp-size 4 --tp-size 4 --dp-size-local 4 --dp-rank-start 0 --dp-address 192.xx.xx.2 --dp-rpc-port 12321 --vllm-start-port 7100
# d0
python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 4 --dp-rank-start 0 --dp-address 192.xx.xx.3 --dp-rpc-port 12321 --vllm-start-port 7100
# d1
python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 4 --dp-rank-start 4 --dp-address 192.xx.xx.3 --dp-rpc-port 12321 --vllm-start-port 7100

在 prefill 主节点上运行 proxy.sh 脚本

在与 prefiller 服务实例相同的节点上运行代理服务器。您可以在仓库的 examples 中获取代理程序：load_balance_proxy_server_example.py

python load_balance_proxy_server_example.py \
  --port 1999 \
  --host 192.xx.xx.1 \
  --prefiller-hosts \
    192.xx.xx.1 \
    192.xx.xx.1 \
    192.xx.xx.1 \
    192.xx.xx.1 \
    192.xx.xx.2 \
    192.xx.xx.2 \
    192.xx.xx.2 \
    192.xx.xx.2 \
  --prefiller-ports \
    7100 7101 7102 7103 7100 7101 7102 7103 \
  --decoder-hosts \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
  --decoder-ports \
    7100 7101 7102 7103 \
    7100 7101 7102 7103

cd vllm-ascend/examples/disaggregated_prefill_v1/
bash proxy.sh

部署验证：

PD 分离服务完全启动后，通过 prefill 主节点上的代理端口发送请求，以验证 Prefill 和 Decode 节点能够正确协同工作：

curl http://192.xx.xx.1:1999/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "kimi_k26",
        "messages": [{
            "role": "user",
            "content": [
            {
                "type": "text",
                "text": "The future of AI is"
            }]
        }],
        "max_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

预期结果：

代理返回 HTTP 200 OK。JSON 响应包含带有生成文本的 choices 字段，确认 Prefill 节点已成功处理提示词，且 Decode 节点已生成响应：

{
    "id": "chatcmpl-xxxxxxxxxxxxx",
    "object": "chat.completion",
    "model": "kimi_k26",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "The future of AI is not a destination we are passively approaching...",
                "finish_reason": "length"
            }
        }
    ],
    "usage": {
        "prompt_tokens": 13,
        "total_tokens": 1037,
        "completion_tokens": 1024
    }
}

常见问题提示：如果在 PD 分离部署中遇到问题，请参阅公共常见问题解答进行故障排查。

6 功能验证¶

服务器启动后，您可以使用输入提示词查询模型：

curl http://<node0_ip>:<port>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "kimi_k26",
        "messages": [{
            "role": "user",
            "content": [
            {
                "type": "text",
                "text": "The future of AI is"
            }]
        }],
        "max_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

预期结果：

服务返回 HTTP 200 OK。JSON 响应包含带有生成文本的 choices 字段，以及使用统计信息：

{
    "id": "chatcmpl-9df13fd5e539af93",
    "object": "chat.completion",
    "created": 1780971952,
    "model": "kimi_k26",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "The future of AI is not a destination we are passively approaching, but a design problem we are actively solving right now...",
                "reasoning": "The user is asking for my thoughts on...",
                "finish_reason": "length"
            }
        }
    ],
    "usage": {
        "prompt_tokens": 13,
        "total_tokens": 1037,
        "completion_tokens": 1024
    }
}

7 精度评估¶

以下是一种精度评估方法。

7.1 使用 AISBench¶

有关详细信息，请参阅使用 AISBench。
执行后，您可以获取结果。以下是 Kimi-K2.6-w4a8 在 vllm-ascend:v0.20.0rc1 中的结果，仅供参考。

数据集	版本	指标	模式	vllm-api-general-chat	备注

数据集	版本	指标	模式	vllm-api-general-chat	备注
AIME2026	-	accuracy	gen	90.00	1 台 Atlas 800 A3（64GB × 16）
GPQA	-	accuracy	gen	89.90	1 台 Atlas 800 A3（64GB × 16）
MMMU	-	accuracy	gen	82.67	1 台 Atlas 800 A3（64GB × 16）

8 性能评估¶

8.1 使用 AISBench¶

有关详细信息，请参见使用 AISBench 进行性能评估。

8.2 使用 vLLM Benchmark¶

以运行 Kimi-K2.6-w4a8 的性能评估为例。

有关更多详细信息，请参见 vllm benchmark。

vllm bench 有三个子命令：

latency：基准测试单个请求批次的延迟。
serve：基准测试在线服务吞吐量。
throughput：基准测试离线推理吞吐量。

以 serve 为例。按如下方式运行代码。

vllm bench serve --model Eco-Tech/Kimi-K2.6-w4a8 --dataset-name random --random-input 1024 --num-prompts 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后，即可获得性能评估结果。

9 性能调优¶

9.1 推荐配置¶

注意：以下配置已在特定测试环境中验证，仅供参考。最优配置取决于最大输入/输出长度、前缀缓存命中率、精度要求以及部署机器比例等因素。建议根据实际条件参考 9.2 节进行调优。

表 1：场景概览¶

*Total NPUs 表示所有节点使用的 NPU 总数。1 节点 = 1 台 Atlas 800 A3 服务器（64GB × 16 NPU）。

场景	部署模式	总 NPU 数	权重版本	关键考量
高吞吐（16k 输入）	单节点混合	16（A3）	kimi-k2.6-w4a8	使用 dp2 tp8 以平衡内存容量和计算效率
高吞吐（16k 输入）	1P1D 部署	32（A3）	kimi-k2.6-w4a8	P 和 D 节点均使用 dp2 tp8；延迟和吞吐均衡
高吞吐（16k 输入）	2P1D 部署	64（A3）	kimi-k2.6-w4a8	跨节点从 dp4 tp4 扩展到 dp8 tp4
长上下文（128k，无前缀缓存）	单节点混合	16（A3）	kimi-k2.6-w4a8	使用 dp1 tp16 以最大化 TP，适配极端上下文长度
长上下文（128k，有前缀缓存）	单节点混合	16（A3）	kimi-k2.6-w4a8	使用 dp2 tp8 以优化内存带宽并提高缓存利用率
多模态（1080P）	单节点混合	16（A3）	kimi-k2.6-w4a8	针对高分辨率视觉输入使用 dp1 tp16
多模态（1080P）	1P1D 部署	32（A3）	kimi-k2.6-w4a8	根据内存和并发情况使用 dp2 tp8 或 dp16 tp1
多模态（1080P）	2P1D 部署	64（A3）	kimi-k2.6-w4a8	从 dp8 tp2 到 dp32 tp1，针对重度多模态负载最大化吞吐

表 2：节点详细配置¶

场景	配置	NPU 数	TP	DP	最大模型长度	MTP 推测数量
高吞吐 / 低延迟（16k）	服务器 / 单机	16	8	2	17k	15
高吞吐 / 低延迟（16k）	服务器-P 节点	16	8	2	17k	3
高吞吐 / 低延迟（16k）	服务器-D 节点	16	8	2	17k	3
长上下文（128k，无缓存）	服务器 / 单机	16	16	1	130k	15
长上下文（128k，有缓存）	服务器 / 单机	16	8	2	130k	15
多模态（1080P）	服务器 / 单机	16	16	1	17k	15
多模态（1080P）	服务器-P 节点	16	8	2	17k	3
多模态（1080P）	服务器-D 节点	16	1	16	17k	3

完整的启动命令和参数说明，请参见第 5 章中的部署示例。

注意： max-model-len 和 max-num-seqs 需要根据实际使用场景进行设置。其他设置请参见部署章节。

9.2 调优指南¶

请参见公共性能调优文档了解调优方法。

请参见功能矩阵了解详细功能说明。

10 常见问题¶

对于常见的环境、安装和通用参数问题，请参见公共常见问题；本章仅涵盖模型特定问题。

问：tool_calls 功能需要哪个 transformer 版本？

答：要使用 tool_calls 功能，请确保 transformers 版本为 4.57.6 或更低。如果 vllm-ascend 已升级到 v0.21 或更高版本，则此要求不再适用。

本页原文 Markdown：在 AtomGit 查看·内容源自开源项目 vl/vllm-ascend