Qwen3.8-27B¶

python -c "import vllm, vllm_ascend; print('vllm and vllm_ascend are ready')"

vllm and vllm_ascend are ready

以下示例适用于 950PR 产品。量化版本需要 `--quantization ascend`。在 950PR 产品上，`Qwen3.8-27B-w8a8` 是当前推荐的权重；后续经过进一步优化后，可切换到 `Qwen3.8-27B-w8a8-mxfp8`。

```bash
#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=True
# Size of the shared buffer (in MB) used by HCCL for NPU-to-NPU collective communication
export HCCL_BUFFSIZE=512
# To reduce memory fragmentation and avoid out of memory
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

# Model weight path; can be a ModelScope model id (e.g., Eco-Tech/Qwen3.8-27B-w8a8) or a local directory path
# Ensure the model path matches the directory recorded during download
export MODEL_PATH=Eco-Tech/Qwen3.8-27B-w8a8

vllm serve $MODEL_PATH \
    --host 0.0.0.0 \
    --port 8000 \
    --data-parallel-size 1 \
    --tensor-parallel-size 1 \
    --quantization ascend \
    --served-model-name qwen3.8 \
    --max-num-seqs 32 \
    --max-model-len 256000 \
    --max-num-batched-tokens 16384 \
    --trust-remote-code \
    --enable-prefix-caching \
    --gpu-memory-utilization 0.9 \
    --speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 3, "enforce_eager": true}' \
    --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
    --additional-config '{"enable_cpu_binding":true}'
```

关键参数说明：

- `--data-parallel-size 1` 和 `--tensor-parallel-size 1` 是数据并行（DP）和张量并行（TP）大小的常见设置。
- `--max-model-len` 表示上下文长度，即单个请求的输入加输出的最大值。
- `--max-num-seqs` 表示每个 DP 组允许处理的最大请求数。如果发送到服务的请求数超过该限制，超出的请求将保持等待状态，不会被调度。请注意，等待状态所花费的时间也会计入 TTFT 和 TPOT 等指标。因此，在测试性能时，通常建议 `--max-num-seqs` * `--data-parallel-size` >= 实际总并发数。
- `--max-num-batched-tokens` 表示模型在单个步骤中可处理的最大 token 数。当前，vLLM v1 调度默认启用 ChunkPrefill/SplitFuse，其含义为：
    - (1) 如果请求的输入长度大于 `--max-num-batched-tokens`，则会根据 `--max-num-batched-tokens` 将其拆分为多轮计算；
    - (2) 解码请求优先调度，仅在有可用容量时才调度预填充请求。
    - 通常，如果将 `--max-num-batched-tokens` 设置为更大的值，整体延迟会更低，但对 HBM 内存（激活值占用）的压力会更大。
- `--gpu-memory-utilization` 表示 vLLM 将用于实际推理的 HBM 比例。其核心功能是计算可用的 kv_cache 大小。在预热阶段（在 vLLM 中称为 profile run），vLLM 会记录输入大小为 `--max-num-batched-tokens` 的推理过程中的峰值 HBM 内存使用量。随后，可用的 kv_cache 大小按以下方式计算：`--gpu-memory-utilization` * HBM 大小 - 峰值 HBM 内存使用量。因此，`--gpu-memory-utilization` 的值越大，可使用的 kv_cache 就越多。但是，由于预热阶段的 HBM 内存使用量可能与实际推理时不同（例如由于 EP 负载不均衡），将 `--gpu-memory-utilization` 设置得过高可能会导致实际推理中出现 OOM（内存不足）问题。默认值为 `0.9`。
- `--quantization ascend` 表示使用量化。若要禁用量化，请移除该选项。
- `--enable-prefix-caching` 启用自动前缀缓存。
- `--speculative-config` 对 `Qwen3.8-27B` 使用 `qwen3_5_mtp`，因为它与 `Qwen3.5-27B` 共享相同的 MTP 头设计。
- `--compilation-config` 包含与 aclgraph 图模式相关的配置。最重要的配置是 `"cudagraph_mode"` 和 `"cudagraph_capture_sizes"`，其含义如下：
    - `"cudagraph_mode"`：表示具体的图模式。当前支持 `"PIECEWISE"` 和 `"FULL_DECODE_ONLY"`。图模式主要用于降低算子调度开销。当前推荐 `"FULL_DECODE_ONLY"`。
    - `"cudagraph_capture_sizes"`：表示不同级别的图模式。默认值为 `[1, 2, 4, 8, 16, 24, 32, 40,..., --max-num-seqs]`。在图模式下，不同级别图的输入是固定的，级别之间的输入会自动填充到下一级别。当前推荐默认设置。只有在某些场景下，才需要单独设置该项以获得最佳性能。
- `--additional-config '{"enable_cpu_binding":true}'` 将 OMP 线程绑定到固定的 CPU 核心。在单台 950PR 产品上，这是实测中最大的性能杠杆：单流解码在没有该设置时为 32 tok/s，启用后为 63 tok/s。

以下示例适用于 Atlas 800 A3 / Atlas 800 A2。

```bash
#!/bin/sh
# Load model from ModelScope to speed up download
export MODEL_PATH=Eco-Tech/Qwen3.8-27B-w8a8
export VLLM_USE_MODELSCOPE=True
export HCCL_BUFFSIZE=512
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
# Size of the shared buffer (in MB) used by HCCL for NPU-to-NPU collective communication
# To reduce memory fragmentation and avoid out of memory

# Model weight path; can be a ModelScope model id (e.g., Eco-Tech/Qwen3.8-27B-w8a8) or a local directory path
# Ensure the model path matches the directory recorded during download

vllm serve $MODEL_PATH \
    --host 0.0.0.0 \
    --port 8000 \
    --data-parallel-size 1 \
    --tensor-parallel-size 2 \
    --quantization ascend \
    --served-model-name qwen3.8 \
    --max-num-seqs 32 \
    --max-model-len 131072 \
    --max-num-batched-tokens 16384 \
    --trust-remote-code \
    --enable-prefix-caching \
    --gpu-memory-utilization 0.85 \
    --speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 3, "enforce_eager": true}' \
    --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
    --additional-config '{"enable_cpu_binding":true}'
```

INFO:     Started server process
INFO:     Waiting for application startup.
INFO:     Application startup complete.

curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen3.8",
        "prompt": "The future of AI is",
        "max_tokens": 50,
        "temperature": 0.7
    }'

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen3.8",
        "messages": [
            {"role": "user", "content": "The future of AI is"}
        ],
        "max_completion_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

{
    "id": "cmpl-xxxxxxxxxxxxx",
    "object": "text_completion",
    "created": 1780971952,
    "model": "qwen3.8",
    "choices": [
        {
            "index": 0,
            "text": "The future of AI is a rapidly evolving landscape with breakthroughs in natural language understanding, multimodal reasoning, and autonomous agents. As models grow more capable and efficient...",
            "logprobs": null,
            "finish_reason": "length"
        }
    ],
    "usage": {
        "prompt_tokens": 4,
        "total_tokens": 54,
        "completion_tokens": 50
    }
}

export VLLM_USE_MODELSCOPE=True
# For Qwen3.8-27B-w8a8:
vllm bench serve --model Eco-Tech/Qwen3.8-27B-w8a8 --dataset-name random --random-input 200 --num-prompts 200 --request-rate 1 --save-result --result-dir ./