help wanted
Repository metrics
- Stars
- (2,180 stars)
- PR merge metrics
- (Avg merge 4d 5h) (559 merged PRs in 30d)
Description
在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。
📚 任务问题描述
任务描述
该任务拆分自 #9079,任务 ID:#9。
vllm-ascend 池化能力除 Mooncake 后端外,还支持 Memcache 后端。当前需要验证 Memcache 池化后端的高可用模式在 vllm-ascend 场景下是否正常工作。该高可用模式依赖 K8S 环境,具体开关/配置参数需在任务执行阶段从 Memcache 部署文档或代码中确认。本任务需要完成 K8S 环境下 Memcache HA 部署、vllm-ascend 对接、池化读写/命中、异常切换和恢复能力验证,并沉淀部署与验证说明。
验收标准
- 明确 Memcache 池化后端 HA 模式所需配置项、启动参数或环境变量,并补充到验证文档。
- 搭建 K8S 依赖环境,完成 Memcache HA 模式部署。
- vllm-ascend 可正常对接 Memcache 池化后端,完成池化相关读写/加载/命中流程。
- 验证 Memcache 节点异常、Pod 重启、服务切换等 HA 场景下,vllm-ascend 侧具备可恢复能力或明确错误处理行为。
- 输出 Memcache HA 模式部署与验证说明,包含 K8S 资源、服务发现、vllm-ascend 启动配置和故障切换验证步骤。
- 如发现 vllm-ascend 对 Memcache HA 不兼容,提交 issue 或修复 PR,并补充最小复现用例。
对接人
@jyoung6652
认领状态
待认领
建议的替代/修复方案
请根据任务描述提交实现、测试或文档 PR,并在 PR 中关联本 issue 与 #9079;如实现过程中发现任务边界、使用指导或现有行为存在不合理之处,请同步补充说明和最小复现。
欢迎加入社区,感谢您对社区的贡献 🎉!