help wanted
Repository metrics
- Stars
- (2,180 stars)
- PR merge metrics
- (Avg merge 4d 5h) (559 merged PRs in 30d)
Description
在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。
📚 任务问题描述
任务描述
该任务拆分自 #9079,任务 ID:#5。
当前 vllm-ascend PD 分离启动脚本中,为支持 prefill/decode 非对等 TP,需要在 kv_connector_extra_config 中显式配置 prefill.dp_size/tp_size 和 decode.dp_size/tp_size。该配置与启动参数中的 --tensor-parallel-size、--data-parallel-size、PD 节点角色等信息存在重复,增加用户配置复杂度和误配风险。本任务需要优化 Mooncake KV transfer / PD disaggregation 配置推导逻辑,在去掉 kv_connector_extra_config.prefill/decode.dp_size/tp_size 显式参数后,仍能正确识别并支持 prefill TP=8、decode TP=4 等非对等 TP 场景。
验收标准
pd_disaggregation.sh可移除kv_connector_extra_config.prefill.dp_size/tp_size和decode.dp_size/tp_size配置。- 代码可从现有 vLLM/parallel/kv_transfer 配置中正确推导 prefill/decode 的 DP/TP 拓扑。
- prefill TP 与 decode TP 不相等场景功能正常,例如 prefill
dp_size=2,tp_size=8、decodedp_size=8,tp_size=4。 - Mooncake KV cache 发送/接收、rank 映射、KV block 分发逻辑正确,无跨 rank 错配。
- 补充或更新 PD 分离非对等 TP 用例和文档,覆盖去除冗余参数后的启动方式。
- 保持旧配置兼容或提供明确报错/迁移提示。
对接人
@jyoung6652
认领状态
待认领
建议的替代/修复方案
请根据任务描述提交实现、测试或文档 PR,并在 PR 中关联本 issue 与 #9079;如实现过程中发现任务边界、使用指导或现有行为存在不合理之处,请同步补充说明和最小复现。
欢迎加入社区,感谢您对社区的贡献 🎉!