LMCache-Ascend 部署指南¶

概述¶

LMCache-Ascend 是一个社区维护的插件，用于在 Ascend NPU 上运行 LMCache。

这里我们提供了一个简单的部署指南。有关部署说明的更多信息，请参阅 LMCache-Ascend 文档

快速开始¶

克隆 LMCache-Ascend 仓库¶

我们的仓库包含一个 kvcache ops 子模块，以便于维护，因此我们建议使用子模块克隆该仓库。

cd /workspace
git clone --recurse-submodules https://github.com/LMCache/LMCache-Ascend.git

Docker¶

cd /workspace/LMCache-Ascend
docker build -f docker/Dockerfile.a2.openEuler -t lmcache-ascend:v0.3.12-vllm-ascend-v0.11.0-openeuler .

构建完成后，使用以下命令运行它

DEVICE_LIST="0,1,2,3,4,5,6,7"
docker run -it \
    --privileged \
    --cap-add=SYS_RESOURCE \
    --cap-add=IPC_LOCK \
    -p 8000:8000 \
    -p 8001:8001 \
    --name lmcache-ascend-dev \
    -e ASCEND_VISIBLE_DEVICES=${DEVICE_LIST} \
    -e ASCEND_RT_VISIBLE_DEVICES=${DEVICE_LIST} \
    -e ASCEND_TOTAL_MEMORY_GB=32 \
    -e VLLM_TARGET_DEVICE=npu \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
    -v /etc/localtime:/etc/localtime \
    -v /var/log/npu:/var/log/npu \
    -v /dev/davinci_manager:/dev/davinci_manager \
    -v /dev/devmm_svm:/dev/devmm_svm \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /etc/hccn.conf:/etc/hccn.conf \
    lmcache-ascend:v0.3.12-vllm-ascend-v0.11.0-openeuler \
    /bin/bash

手动安装¶

假设你的工作目录是 /workspace，并且 vllm/vllm-ascend 已经安装。

安装 LMCache 仓库

NO_CUDA_EXT=1 pip install lmcache==0.3.12

安装 LMCache-Ascend 仓库

cd /workspace/LMCache-Ascend
python3 -m pip install --no-build-isolation -e .

用法¶

LMCacheAscendConnector 不再由 vllm-ascend 注册。请改用 LMCache-Ascend 包提供的连接器注册和运行时配置。有关当前配置示例，请参阅 LMCache-Ascend 文档。

本页原文 Markdown：在 AtomGit 查看·内容源自开源项目 vl/vllm-ascend