Inference scheduler for llm-d
推荐理由
README 将它定位为「Inference scheduler for llm-d llm-d Router [!IMPORTANT] Terminology Change: The *Inference Scheduler* has been renamed to llm-d Router; see Terminology」,核心痛点是多模型调用时的成本、准确率和路由决策。它已经有基础社区关注但还没过度出圈,license 清晰,主要技术栈是 Go,适合作为「同类问题选型」的候选项目。
注意事项
项目还偏早期,需要重点验证核心路径是否稳定;展示前建议跑通 README quickstart,并确认部署成本、外部依赖和数据安全边界。