vllm-project/vllm-ascend

[Contribution] 任务 #5:PD 分离非对等 TP 配置简化

Open

#10,652 opened on Jun 18, 2026

 (2 comments) (0 reactions) (0 assignees)C++ (1,318 forks)github user discovery
help wanted

Repository metrics

Stars
 (2,180 stars)
PR merge metrics
 (Avg merge 4d 5h) (559 merged PRs in 30d)

Description

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

📚 任务问题描述

任务描述

该任务拆分自 #9079,任务 ID:#5。

当前 vllm-ascend PD 分离启动脚本中,为支持 prefill/decode 非对等 TP,需要在 kv_connector_extra_config 中显式配置 prefill.dp_size/tp_sizedecode.dp_size/tp_size。该配置与启动参数中的 --tensor-parallel-size--data-parallel-size、PD 节点角色等信息存在重复,增加用户配置复杂度和误配风险。本任务需要优化 Mooncake KV transfer / PD disaggregation 配置推导逻辑,在去掉 kv_connector_extra_config.prefill/decode.dp_size/tp_size 显式参数后,仍能正确识别并支持 prefill TP=8、decode TP=4 等非对等 TP 场景。

验收标准

  1. pd_disaggregation.sh 可移除 kv_connector_extra_config.prefill.dp_size/tp_sizedecode.dp_size/tp_size 配置。
  2. 代码可从现有 vLLM/parallel/kv_transfer 配置中正确推导 prefill/decode 的 DP/TP 拓扑。
  3. prefill TP 与 decode TP 不相等场景功能正常,例如 prefill dp_size=2,tp_size=8、decode dp_size=8,tp_size=4
  4. Mooncake KV cache 发送/接收、rank 映射、KV block 分发逻辑正确,无跨 rank 错配。
  5. 补充或更新 PD 分离非对等 TP 用例和文档,覆盖去除冗余参数后的启动方式。
  6. 保持旧配置兼容或提供明确报错/迁移提示。

对接人

@jyoung6652

认领状态

待认领

建议的替代/修复方案

请根据任务描述提交实现、测试或文档 PR,并在 PR 中关联本 issue 与 #9079;如实现过程中发现任务边界、使用指导或现有行为存在不合理之处,请同步补充说明和最小复现。

欢迎加入社区,感谢您对社区的贡献 🎉!

Contributor guide