触达更多潜在用户,助力产品增长与收益提升。
投放广告标记为“大模型运维”的工具
Helicone
Free 等级项目星标数: 6.2KAI 网关与 LLM 可观测性平台
模型网关与路由
Helicone 是一个开源 LLM 可观测性与 AI 网关平台。它为可靠的 AI 应用提供路由与监控,让开发者只需一行代码即可监控、评估和实验。
llm-d
Free 等级项目星标数: 4.9KKubernetes 原生分布式 LLM 推理栈
模型网关与路由
llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈。它可在集群中运行 vLLM、SGLang 等模型服务器,将单节点推理引擎转化为可在现有硬件上生产级部署的推理服务。
Overmind
Free 等级项目星标数: 0.7K面向专用智能体的训练平台
训练与微调
Overmind 是面向专用智能体的训练平台,可将智能体的生产数据转化为团队自有的专用模型,并在同一平台完成数据准备、训练、评估与部署,支持托管使用或自行部署。

