Self-hosted LiteLLM proxy with auto-discovery of free/trial LLM models from OpenRouter, Groq, Gemini, Cerebras, SambaNova, Cohere, NVIDIA NIM and more
推荐理由
README 将它定位为「Self-hosted LiteLLM proxy with auto-discovery of free/trial LLM models from OpenRouter, Groq, Gemini, Cerebras, SambaNova, Cohere, NVIDIA NIM and more」,核心痛点是多模型调用时的成本、准确率和路由决策。它有一定社区验证,同时仍保留发现潜力,主要技术栈是 Python,适合作为「同类问题选型」的候选项目。
注意事项
license 信息不够明确,采用前要确认授权边界;项目还偏早期,需要重点验证核心路径是否稳定;README 摘要信息有限,发布前建议再人工扫一遍文档;展示前建议跑通 README quickstart,并确认部署成本、外部依赖和数据安全边界。