Minitron-8B-Base¶

1 简介¶

发布的 Minitron-8B-Base 是由 NVIDIA 开发的轻量级、高效的大语言模型。它面向通用文本生成和推理任务设计，可通过 vllm-ascend 在 Ascend NPU 硬件上使用 vLLM 部署，用于在线服务和评估。

本文档描述该模型的主要验证步骤，包括支持的功能、环境准备、单节点部署、功能验证以及在 GSM8K 基准上的精度评估。

2 环境准备¶

2.1 模型权重¶

Minitron-8B-Base（BF16 版本）：需要 1 个 Ascend 910B（配备 1 个 64GB NPU）。下载模型权重

建议将模型权重放置在共享缓存目录中，例如 /root/.cache/，或类似 /data/vllm-workspace/models/Minitron-8B-Base 的本地模型路径。

3 安装¶

Minitron-8B-Base 可以在兼容的运行环境中通过 vllm-ascend 部署。

3.1 Docker 镜像安装¶

可以使用官方 Docker 镜像进行部署：

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0
docker run --rm \
  --name vllm-ascend \
  --shm-size=1g \
  --device /dev/davinci0 \
  --device /dev/davinci_manager \
  --device /dev/devmm_svm \
  --device /dev/hisi_hdc \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
  -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
  -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
  -v /etc/ascend_install.info:/etc/ascend_install.info \
  -v /root/.cache:/root/.cache \
  -v /data/vllm-workspace/models:/data/vllm-workspace/models \
  -p 8000:8000 \
  -it $IMAGE bash

3.2 源代码安装¶

如果不想使用 Docker 镜像，也可以从源代码构建：

从源代码安装 vllm-ascend，请参考安装。

4 部署¶

使用以下命令启动在线服务：

vllm serve "nv-community/Minitron-8B-Base" \
  --served-model-name minitron-8b-base \
  --tensor-parallel-size 1 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.9 \
  --enforce-eager \
  --port 8000

5 功能验证¶

服务器启动后，可以使用一个简单的 prompt 查询模型：

curl http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "minitron-8b-base",
    "prompt": "Question: If a train travels 60 miles in 2 hours, what is its average speed in miles per hour?\nAnswer:",
    "max_tokens": 64,
    "temperature": 1.0
  }'

有效响应表示模型已正确部署，并且可以生成文本输出。

6 精度评估¶

使用 GSM8K 数据集评估 Minitron-8B-Base 的推理能力。

当前评估设置如下：

数据集：gsm8k
分割：test
样本数：1000
少样本设置：5-shot
apply_chat_template：False
fewshot_as_multiturn：False

当前评估结果如下：

类别	数据集	指标	结果
准确率	gsm8k / test	总样本数	1000
准确率	gsm8k / test	exact_match,strict-match	0.5436
准确率	gsm8k / test	exact_match,flexible-extract	0.5451

指标备注¶

exact_match,strict-match：只有严格符合预期最终答案提取格式的预测才计为正确。
exact_match,flexible-extract：使用更灵活的答案提取规则评估预测，只要最终数值答案正确，即可容忍轻微格式差异。

7 性能评估¶

7.1 基线结果¶

Minitron-8B-Base 可通过 vllm-ascend 部署，用于在线推理和基准评估。实际吞吐量和延迟取决于硬件资源、prompt 长度、输出长度、并发数以及运行时配置。

7.2 备注¶

本文档重点关注功能验证以及 GSM8K 上的基准精度。建议进一步进行以下基准测试：

请求延迟
并发下的吞吐量
长上下文推理
内存利用率
持续服务负载下的稳定性

本页原文 Markdown：在 AtomGit 查看·内容源自开源项目 vl/vllm-ascend