gpt-oss-120b¶

1 简介¶

gpt-oss-120b 和 gpt-oss-20b 是两款开放权重的推理模型，它们在准确性和推理成本方面推动了前沿发展。这些模型采用高效的混合专家 Transformer 架构，并使用大规模蒸馏和强化学习进行训练。我们优化了模型，使其具备强大的智能体能力（深度研究浏览、Python 工具使用以及对开发者提供函数的支持），同时使用渲染的聊天格式，以实现清晰的指令遵循和角色区分。两款模型在涵盖数学、编码和安全等领域的基准测试中均取得了强劲结果。我们以 Apache 2.0 许可证发布模型权重、推理实现、工具环境和分词器，以促进广泛使用和进一步研究。

2 支持的功能¶

请参考支持的功能列表以获取模型支持的功能矩阵。

请参考功能指南以获取功能配置。

3 环境准备¶

3.1 模型权重¶

权重版本	硬件要求	下载链接
`gpt-oss-120b`（bf16 版本）	1 台 Atlas 800 A3（64GB × 16）节点或 1 台 Atlas 800 A2（64GB × 8）节点	Hugging Face

路径说明：将模型权重下载到您选择的目录并记录该目录。确保后续部署命令中的模型路径与该目录一致。

4 安装¶

您可以使用我们官方的 Docker 镜像来支持 gpt-oss-120b-bf16 模型。目前，我们提供一体化镜像。下载镜像

4.1 Docker 拉取（按标签）¶

docker pull quay.io/ascend/vllm-ascend:v0.23.0

4.2 Docker 运行¶

# Update --device according to your device (Atlas A2: /dev/davinci[0-7] Atlas A3:/dev/davinci[0-15]).
# Update the vllm-ascend image according to your environment.
# Note you should download the weight to /root/.cache in advance.
# For Atlas A2 machines:
# export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0
# For Atlas A3 machines:
export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-a3
docker run --rm \
    --name vllm-ascend-env \
    --shm-size=1g \
    --net=host \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

默认工作目录为 /workspace，vLLM 和 vLLM Ascend 代码放置在 /vllm-workspace 中，并以开发模式（pip install -e）安装，以便开发者无需重新安装即可立即应用更改。

此外，如果您不想使用上述 Docker 镜像，也可以从源代码构建所有内容：

从源代码安装 vllm-ascend，请参考安装。

5 部署¶

5.1 故障排除¶

遇到

"openai_harmony.HarmonyError: error downloading or loading vocab file: failed to download or load vocab error"

解决方案：这是由 openai_harmony 代码中的一个 bug 引起的。可以通过预先下载 tiktoken 编码文件并设置 TIKTOKEN_ENCODINGS_BASE 环境变量来规避此问题。有关更多信息，请参阅此 GitHub 问题。

mkdir -p tiktoken_encodings
wget -O tiktoken_encodings/o200k_base.tiktoken "https://openaipublic.blob.core.windows.net/encodings/o200k_base.tiktoken"
wget -O tiktoken_encodings/cl100k_base.tiktoken "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken"
export TIKTOKEN_ENCODINGS_BASE=${PWD}/tiktoken_encodings

5.2 单节点部署¶

gpt-oss-120b 既可以部署在 1 台 Atlas 800 A3（64GB × 16）上，也可以部署在 1 台 Atlas 800 A2（64GB × 8）上。

运行以下脚本以执行在线推理。

#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=True
# To reduce memory fragmentation and avoid out of memory
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_BUFFSIZE=512
export NPU_MEMORY_FRACTION=0.95
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3
export OMP_PROC_BIND=false
export VLLM_USE_V1=1
export TASK_QUEUE_ENABLE=1
export OMP_NUM_THREADS=1
export TIKTOKEN_ENCODINGS_BASE=${PWD}/tiktoken_encodings

# Ensure the model path matches the directory recorded during download
vllm serve unsloth/gpt-oss-120b-BF16 \
--served-model-name gpt-oss-120b-bf16 \
--port 8000 \
--trust-remote-code \
--max-num-seqs 4 \
--gpu-memory-utilization 0.90 \
--tensor-parallel-size 4 \
--max-model-len 4096 \
--max-num-batched-tokens 4096 \
--enable-expert-parallel \
--compilation_config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes":[1,2,3,4]}'

以下参数说明如下：

--tensor-parallel-size 是张量并行（TP）大小的常用设置。
--max-model-len 表示上下文长度，即单个请求的输入加输出的最大值。
--max-num-seqs 表示每个 DP 组允许处理的最大请求数。如果发送到服务的请求数超过此限制，超出的请求将保持等待状态，不会被调度。请注意，等待状态所花费的时间也会计入 TTFT 和 TPOT 等指标。因此，在测试性能时，通常建议 --max-num-seqs * --data-parallel-size >= 实际总并发数。
--max-num-batched-tokens 表示模型在单个步骤中可以处理的最大 token 数。目前，vLLM v1 调度默认启用 ChunkPrefill/SplitFuse，这意味着：
- (1) 如果请求的输入长度大于 --max-num-batched-tokens，它将根据 --max-num-batched-tokens 分成多轮计算；
- (2) 解码请求优先调度，仅在有可用容量时才调度预填充请求。
- 通常，如果将 --max-num-batched-tokens 设置为更大的值，整体延迟会更低，但对 GPU 内存（激活值占用）的压力会更大。
--gpu-memory-utilization 表示 vLLM 用于实际推理的 HBM 比例。其本质功能是计算可用的 kv_cache 大小。在预热阶段（在 vLLM 中称为 profile run），vLLM 会记录输入大小为 --max-num-batched-tokens 的推理过程中的峰值 GPU 内存使用量。然后，可用的 kv_cache 大小计算为：--gpu-memory-utilization * HBM 大小 - 峰值 GPU 内存使用量。因此，--gpu-memory-utilization 的值越大，可使用的 kv_cache 就越多。然而，由于预热阶段的 GPU 内存使用量可能与实际推理期间不同（例如，由于 EP 负载不均衡），将 --gpu-memory-utilization 设置得过高可能会导致实际推理中出现 OOM（内存溢出）问题。默认值为 0.9。
--compilation-config 包含与 aclgraph 图模式相关的配置。最重要的配置是 "cudagraph_mode" 和 "cudagraph_capture_sizes"，其含义如下： "cudagraph_mode"：表示具体的图模式。目前支持 "PIECEWISE" 和 "FULL_DECODE_ONLY"。图模式主要用于降低算子调度成本。目前推荐 "FULL_DECODE_ONLY"。
"cudagraph_capture_sizes"：表示不同级别的图模式。默认值为 [1, 2, 4, 8, 16, 24, 32, 40,..., --max-num-seqs]。在图模式中，不同级别图的输入是固定的，级别之间的输入会自动填充到下一个级别。目前推荐默认设置。只有在某些场景下，才需要单独设置此项以实现最佳性能。

6 功能验证¶

服务器启动后，您可以使用输入提示词查询模型：

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "gpt-oss-120b-bf16",
        "messages": [{"role":"user", "content":"who are you"}]
    }'

7 准确性评估¶

以下是两种准确性评估方法。

7.1 使用 AISBench¶

有关详细信息，请参阅使用 AISBench。
执行后，您可以获取结果，以下是 gpt-oss-120b-bf16 的结果，仅供参考。

数据集	版本	指标	模式	vllm-api-general-chat
mmlu	-	accuracy	gen	89.50

8 性能评估¶

8.1 使用 AISBench¶

有关详细信息，请参阅使用 AISBench 进行性能评估。

8.2 使用 vLLM 基准测试¶

以 gpt-oss-120b-BF16 为例，运行性能评估。

有关更多详细信息，请参阅 vllm benchmark。

vllm bench 有三个子命令：

latency：评估单个请求批次的延迟。
serve：评估在线服务吞吐量。
throughput：评估离线推理吞吐量。

以 serve 为例，运行以下代码。

export VLLM_USE_MODELSCOPE=True
vllm bench serve --model unsloth/gpt-oss-120b-BF16 --dataset-name random --random-input 200 --num-prompts 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后，您可以获取性能评估结果。

本页原文 Markdown：在 AtomGit 查看·内容源自开源项目 vl/vllm-ascend