CANN-LLM：基于昇腾 CANN 的高性能、全功能 LLM 推理引擎
在上一篇中我们实现了毫秒级请求取消机制使系统具备了生产级的鲁棒性。现在我们将整合前六篇的所有技术成果构建一个完整的、可开源的 LLM 推理服务项目模板命名为CANN-LLM基于昇腾 CANN 的高性能、全功能 LLM 推理引擎本文将提供完整的项目目录结构CMake 构建系统配置Docker 部署方案性能调优 checklist以及如何贡献到 GitCode 开源社区目标让开发者 10 分钟内跑通 INT4 Continuous Batching QoS StreamingLLM 的 Llama-2-7B 服务cann组织链接https://atomgit.com/cannops-nn仓库链接https://atomgit.com/cann/ops-nn一、项目整体架构cann-llm/ ├── cmake/# CMake 模块│ ├── FindCANN.cmake# 自动查找 CANN 安装│ └── cann-llm-config.cmake ├── src/ │ ├── core/# 核心推理逻辑│ │ ├── engine.cpp# 主推理引擎│ │ ├── scheduler.cpp# QoS Continuous Batching│ │ ├── kv_manager.cpp# PagedAttention StreamingLLM│ │ └── cancellation.cpp# 请求取消│ ├── model/# 模型加载与量化│ │ ├── int4_loader.cpp │ │ └── quantize_tool.py │ ├── ops/# tbe 算子注册│ │ ├── int4_gemm.cpp │ │ ├── fused_attention.cpp │ │ └── sparse_attention.cpp │ ├── server/# HTTP/WebSocket 服务│ │ ├── http_server.cpp │ │ └── ws_streamer.cpp │ └── main.cpp# 入口├── tbe_kernels/# Python tbe 算子源码│ ├── int4_gemm.py │ ├── paged_attention.py │ └── streaming_sparse_attn.py ├── tools/ │ ├── quantize_llama.py# 离线量化脚本│ └── profile_cann.py# 性能分析工具├── configs/ │ └── llama2_7b_int4.yaml# 模型配置├── docker/ │ └── Dockerfile# 一键部署├── tests/ │ └── e2e_test.py# 端到端测试├── README.md └── CMakeLists.txt二、CMake 构建系统关键片段CMakeLists.txtcmake_minimum_required(VERSION 3.18) project(cann-llm LANGUAGES CXX) # 查找 CANN find_package(CANN REQUIRED) # 编译 tbe 算子自动调用 te_build add_custom_target(tbe_ops ALL COMMAND python ${CMAKE_SOURCE_DIR}/tbe_kernels/build_all.py WORKING_DIRECTORY ${CMAKE_SOURCE_DIR}/tbe_kernels DEPENDS ${CMAKE_SOURCE_DIR}/tbe_kernels/*.py ) # 主程序 add_executable(llm_server src/main.cpp src/core/engine.cpp src/core/scheduler.cpp src/model/int4_loader.cpp src/server/http_server.cpp # ... 其他源文件 ) # 链接 CANN 库 target_link_libraries(llm_server PRIVATE ${CANN_LIBRARIES} pthread dl ) # 依赖 tbe 算子 add_dependencies(llm_server tbe_ops) # 安装规则 install(TARGETS llm_server DESTINATION bin) install(DIRECTORY configs/ DESTINATION etc/cann-llm)cmake/FindCANN.cmakefind_path(CANN_INCLUDE_DIR ge/ge_api.h PATHS /usr/local/Ascend/ascend-toolkit/latest/include $ENV{ASCEND_HOME}/include ) find_library(CANN_GE_LIB ge PATHS /usr/local/Ascend/ascend-toolkit/latest/lib64 ) set(CANN_LIBRARIES ${CANN_GE_LIB} ${CANN_RUNTIME_LIB} ...) set(CANN_FOUND TRUE)三、Docker 一键部署docker/DockerfileFROM ascend-cann-toolkit:8.0.RC1 WORKDIR /app COPY . . # 安装 Python 依赖用于量化 tbe RUN pip install torch transformers sentencepiece # 构建 C 引擎 RUN mkdir build cd build \ cmake .. -DCMAKE_BUILD_TYPERelease \ make -j$(nproc) \ make install # 量化模型示例 RUN python tools/quantize_llama.py \ --model meta-llama/Llama-2-7b-hf \ --output ./models/llama2-7b-int4 EXPOSE 8080 CMD [llm_server, --model, /app/models/llama2-7b-int4, --port, 8080]构建与运行dockerbuild -t cann-llm -f docker/Dockerfile.dockerrun -d --device/dev/davinci0 --name llm-server cann-llm四、启动与测试启动服务./build/llm_server\--model ./models/llama2-7b-int4\--max-batch-size8\--window-size2048\--sink-size4\--port8080调用 API# 1. 提交请求REQ_ID$(curl-s -X POST http://localhost:8080/generate\-HX-Priority: high\-d{prompt: Explain quantum computing in simple terms.}|jq -r .id)# 2. 流式获取结果curl-N http://localhost:8080/stream/$REQ_ID# 3. 取消请求如需要curl-X DELETE http://localhost:8080/requests/$REQ_ID五、性能调优 Checklist组件调优项建议值tbe 算子BLOCK_M / BLOCK_N根据 NPU UB 大小调整通常 64~128PagedAttentionblock_size16 或 32平衡碎片与管理开销Continuous Batchingmax_batch_size8~16避免长尾延迟INT4 GEMMgroup_size128AWQ 默认StreamingLLMsink_size4论文推荐QoSHigh 权重≥5保障实时性 使用tools/profile_cann.py分析 kernel 占比定位瓶颈六、开源贡献指南GitCodeFork 仓库https://gitcode.com/cann-community/cann-llm提交 PR 要求新算子需包含tbe_kernels/xxx.pyops/xxx.cpp性能提升需附 benchmark 数据支持新模型需提供量化脚本CI/CD 流程自动编译检查单元测试Google Test精度回归测试vs HF FP16七、结语从技术原型到工业基石通过CANN-LLM项目我们将前六篇的先进技术——✅ FusedAttention✅ INT4 GEMM✅ Continuous Batching✅ PagedAttention✅ StreamingLLM✅ QoS 调度✅ 请求取消——整合为一个开箱即用、生产就绪的推理引擎。这不仅是一个项目更是国产 AI 软件栈走向成熟、走向生态的关键一步。我们邀请每一位开发者使用它快速部署自己的 LLM 服务改进它贡献算子、调度策略、新模型支持扩展它构建多模态、Agent、RAG 等上层应用CANN-LLM 将于 2026 年 Q2 在 GitCode 正式开源关注 https://gitcode.com/cann-community 获取最新动态
