跳转至
vllm-ascend
vllm-ascend
评估 / 准确性
搜索文档
登录
退出登录
vllm-ascend
AtomGit / GitCode
vllm-ascend
2.9k
索引
源代码
源代码
索引
FAQs
模板
模板
模型部署教程模板
模板补充
社区
社区
社区
提交者和贡献者
治理
问题工作流指南
斜杠命令
版本策略
用户故事 / 用户故事
用户故事 / LLaMA-Factory
开发者指南
开发者指南
开发者指南
DeepSeek V4.1 QLI V2 和候选集成
设计文档 / 设计文档
设计文档 / ACL Graph
设计文档 / 添加自定义 aclnn 操作
设计文档 / Balance Schedule 重构
设计文档 / Context Parallel
设计文档 / CPU 绑定
设计文档 / Disaggregated-prefill
设计文档 / 动态分块流水线并行 (CPP)
设计文档 / KV 缓存池
设计文档 / KVPP 设计
设计文档 / 逐层与稀疏 KV 缓存卸载设计
设计文档 / Model Runner V1 EPLB 架构
设计文档 / Model Runner V2 EPLB 架构
设计文档 / 为模型前向准备输入
设计文档 / Npugraph_ex
设计文档 / vLLM Ascend 中的补丁
设计文档 / 量化适配指南
设计文档 / 投机解码 KV 滑动窗口
贡献 / 参与贡献
贡献 / 文档编写指南
贡献 / E2E CI 测试
贡献 / 多节点测试
贡献 / 每日 CI 测试
贡献 / 测试
评估 / 准确性
评估 / 使用 AISBench
评估 / 使用 EvalScope
评估 / 使用 lm-eval
评估 / 使用 OpenCompass
性能与调试 / 性能与调试
性能与调试 / MSProbe 调试指南
性能与调试 / 优化与调优
性能与调试 / 性能基准测试
性能与调试 / 服务性能分析指南
入门指南
入门指南
入门指南
安装指南
快速开始
教程
教程
功能 / 功能教程
功能 / 动态分块流水线并行 (DeepSeek-V3.1)
功能 / Mooncake 多实例 PD 共置
功能 / Prefill-Decode 分离 (DeepSeek)
功能 / Prefill-Decode 分离 (Qwen2.5-VL)
功能 / Ray 分布式 (Qwen3-235B-A22B)
功能 / 后缀推测解码
模型 / 模型教程
模型 / Cohere Transcribe
模型 / DeepSeek-R1
模型 / DeepSeek-V3 & 3.1
模型 / DeepSeek-V3.2
模型 / DeepSeek-V4-Flash-Vision-Exp（实验性）
模型 / DeepSeek-V4-Flash
模型 / DeepSeek-V4-Pro
模型 / DeepSeek-V4.1-Flash
模型 / DeepSeek-OCR-2
模型 / Dots3 Note
模型 / Gemma4
模型 / GLM-4.5/4.6/4.7
模型 / GLM-5.2
模型 / GLM-5.3-Flash（实验性）
模型 / GLM-5.3（实验性）
模型 / GLM-5 & GLM-5.1
模型 / gpt-oss-120b
模型 / Hunyuan-A13B-Instruct
模型 / Hy3-preview
模型 / Hy4-preview (实验性)
模型 / InternVL3.5(38B/241B-A28B)
模型 / Kimi-K2-Thinking
模型 / Kimi-K2.5
模型 / Kimi-K2.6
模型 / Kimi-K3
模型 / LLaVA-OneVision-Qwen2-0.5B-OV
模型 / MiniMax-M2
模型 / MiniMax-M3
模型 / Minitron-8B-Base
模型 / Mixtral-8x7B-Instruct-v0.1
模型 / PaddleOCR-VL
模型 / Qwen-VL-Dense(Qwen3-VL-8B/32B)
模型 / Qwen2.5-Math-RM-72B
模型 / Qwen3-235B-A22B
模型 / Qwen3-30B-A3B
模型 / Qwen3-ASR-1.7B
模型 / Qwen3-Coder-30B-A3B
模型 / Qwen3-Dense (Qwen3-0.6B/1.7B/4B/8B/14B/32B)
模型 / Qwen3-Embedding
模型 / Qwen3-Next
模型 / Qwen3-Omni-30B-A3B-Thinking
模型 / Qwen3-Reranker
模型 / Qwen3-VL-235B-A22B-Instruct
模型 / Qwen3-VL-30B-A3B-Instruct
模型 / Qwen3-VL-Embedding
模型 / Qwen3-VL-Reranker
模型 / Qwen3.5-27B & Qwen3.6-27B
模型 / Qwen3.5-397B-A17B
模型 / Qwen3.5-Dense (Qwen3.5-2B/4B/9B)
模型 / Qwen3.6-35B-A3B
模型 / Qwen3.8-2.4T-A95B
模型 / Qwen3.8-27B
模型 / SigLIP2
用户指南
用户指南
用户指南
MS 服务指标
发布说明
配置 / 配置指南
配置 / 附加配置
配置 / Score Encoder 缓存管理器
配置 / 环境变量
部署指南 / 部署指南
部署指南 / 使用 MindIE-Motor 部署 vLLM-Ascend
部署指南 / 使用 Volcano Kthena
功能指南 / 功能指南
功能指南 / AI QoS 功能
功能指南 / 批不变性
功能指南 / 批作业感知调度器
功能指南 / 上下文并行指南
功能指南 / CPU 绑定
功能指南 / 动态分块流水线并行
功能指南 / DyntraLB：动态解码器内数据并行负载均衡
功能指南 / 解耦编码器
功能指南 / 专家并行负载均衡器 (EPLB)
功能指南 / 细粒度张量并行 (细粒度 TP)
功能指南 / Flash Attention 3
功能指南 / 图模式指南
功能指南 / KV Cache CPU 卸载指南
功能指南 / KV Cache Pool（Ascend Store）部署指南
功能指南 / KVPP（实验性）
功能指南 / 分布式 DP 服务器大规模专家并行
功能指南 / 逐层与稀疏 KV Cache 卸载指南
功能指南 / LMCache-Ascend 部署指南
功能指南 / LoRA 适配器指南
功能指南 / Mooncake 逐层混合注意力
功能指南 / Mooncake 逐层适配与优化分析
功能指南 / Netloader 指南
功能指南 / 流水线并行
功能指南 / 抢占式卸载指南
功能指南 / 量化指南
功能指南 / RFork 指南
功能指南 / vLLM-Ascend 用于 RL
功能指南 / 序列并行
功能指南 / ShortRequestFirst 预填充调度
功能指南 / 睡眠模式指南
功能指南 / 推测解码指南
功能指南 / 结构化输出指南
功能指南 / UCM Store 部署指南
支持矩阵 / support_matrix
支持矩阵 / feature_matrix
支持矩阵 / 支持的功能
支持矩阵 / 支持的模型
AtomGit / GitCode
vllm-ascend
v0.23.0
源码下载
准确性
¶
ℹ️ 此页依赖上游站点的交互组件渲染，没有可静态化的正文，完整内容请访问
上游源文件
。
本页原文 Markdown：
在 AtomGit 查看
·
内容源自开源项目
vl/vllm-ascend
回到页面顶部