结构化输出指南¶

概述¶

什么是结构化输出？¶

当您需要特定格式的输出时，LLM 的行为可能不可预测。想象一下，要求模型在没有指导的情况下生成 JSON：它可能会生成有效文本，但违反 JSON 规范。结构化输出（也称为引导解码） 使 LLM 能够生成遵循所需结构的输出，同时保留系统的非确定性特性。

简单来说，结构化解码为 LLM 提供了一个可遵循的“模板”。用户提供一种模式（schema），用于“影响”模型输出，确保其符合所需结构。

在 vllm-ascend 中的使用¶

目前，vllm-ascend 中结构化输出功能的使用方式与 vLLM 完全相同。

有关这些用法的更多示例和说明，请参阅 vLLM 官方文档。