跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

标记为“大模型运维”的工具

Favicon of Langfuse

Langfuse

Free 等级项目星标数: 35.1K

开源智能体评估与可观测性

评测与基准

开源平台,用于追踪、评估和改进AI智能体。利用生产数据理解行为,协作修复,以更低的成本和延迟交付更高质量。

Favicon of Helicone

Helicone

Free 等级项目星标数: 6.2K

AI 网关与 LLM 可观测性平台

模型网关与路由

Helicone 是一个开源 LLM 可观测性与 AI 网关平台。它为可靠的 AI 应用提供路由与监控,让开发者只需一行代码即可监控、评估和实验。

Favicon of llm-d

llm-d

Free 等级项目星标数: 4.9K

Kubernetes 原生分布式 LLM 推理栈

模型网关与路由

llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈。它可在集群中运行 vLLM、SGLang 等模型服务器,将单节点推理引擎转化为可在现有硬件上生产级部署的推理服务。

Favicon of Overmind

Overmind

Free 等级项目星标数: 0.7K

面向专用智能体的训练平台

训练与微调

Overmind 是面向专用智能体的训练平台,可将智能体的生产数据转化为团队自有的专用模型,并在同一平台完成数据准备、训练、评估与部署,支持托管使用或自行部署。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告