得物公开昇腾910C推理优化：Qwen3.5-35B-A3B TPOT 降45.1%
- 核心结果：得物技术在昇腾910C-560t（单卡双die、TP=2）上优化Qwen3.5-35B-A3B在线推理。未开启投机解码时，c=1的TPOT从基线14.22ms降至7.8ms，下降45.1%；开启MTP投机解码并叠加源码级优化后，真实业务数据集上c=1/c=4/c=8的TPOT分别为5.0ms/8.8ms/11.9ms，较基线下降64.8%/49.9%/43.8%。GSM8K数据集c=1 TPOT达到4.2ms。
- 优化路径：文章按“镜像与版本升级→参数与环境变量调优→vllm-ascend源码修改→算子层融合→MTP投机解码”五层推进。已披露的参数层收益包括：vllm-ascend从0.22.0rc1升至0.23.0rc1使c=1 TPOT下降15.4%；
HCCL_OP_EXPANSION_MODE=AIV下降6.6%；静态kernel预编译在35B-A3B上叠加收益18.7%；HBM分配器调优下降3.3%；此外还包括jemalloc替换glibc malloc、ACLNN算子缓存、batch memcpy、MoE权重预取、CPU绑核与cudagraph捕获尺寸调整。 - 工程边界：同一套方法在Qwen3.6-27B上验证，c=1从30.7ms降至11.8ms。文章同时给出十余项实测无效或负向的参数尝试，并指出昇腾环境变量与SoC型号、CANN版本、模型结构强耦合，文档推荐值不能替代实测。
- 行业观察：国内GPU供给紧张、H20无新增算力的背景下，昇腾在prefill阶段TTFT占优，decode阶段TPOT仍是主攻方向。该文的价值在于把国产算力在线推理的优化拆到版本、通信、图模式、内存分配与算子缓存等可复现工程项，并给出未生效尝试的避坑记录。 🔗 得物技术原文