Laya

项目简介

Laya 是多语言、非自回归决策模型。给定文本、邮件、工单或 JSON 等状态以及类型化问题，它在单次前向推理中返回带校准概率的类型化答案。它不生成文本；Router 检测语言和文字系统，并分派到合适的英语或多语言检查点。

核心功能

• 支持对文本、邮件、工单或 JSON 进行类型化选择、评分和是/否（noul）问题的单次前向推理。
• Router 在亚毫秒级检测文字系统和语言，并分派到最优检查点；多语言检查点覆盖 100 多种语言。
• 基于 RLCD 和严格适当评分规则训练，诚实报告概率才能最大化奖励，且不生成文本，因此无需解析，也不存在生成内容幻觉。
• 在自有领域决策上微调可提升准确率；微调后的 laya-typed-decisions 检查点在 typed-decisions 基准上得分 0.766，而基础英语检查点为 0.362。
• 可通过 Python SDK 自托管，并提供可选 HTTP 服务器 laya-serve，以及 MCP、LangChain、ONNX 和 GPU 快速路径等扩展。
• laya-multilingual 支持通过 max_len=8192 处理长文档。

适用场景

• 按部门、紧急程度和流失风险路由并分流客户支持邮件或工单。
• 需要校准是/否概率的防护栏和审核决策。
• 不希望对多语言文本生成内容的结构化分类。
• 微调后的领域特定决策流程，例如发票处理、安全事件、客户服务和代理轨迹可观测性。

快速开始

• 使用 pip install laya 安装；需要 Python 3.10 或更高版本。使用 from laya import Router；创建 Router() 或 Router(preload=True)，然后调用 router.predict(state, questions)。对于 laya-multilingual 的长文档，传入 model="multilingual" 和 max_len=8192。使用 pip install "laya[serve]" 和 LAYA_DEVICE=cuda LAYA_PRELOAD=1

部署与要求

• 需要 Python 3.10 或更高版本。可选扩展包括用于 HTTP 服务器的 laya[serve]、laya[mcp]、laya[langchain]、laya[onnx] 和 laya[fast]。Router 的懒加载默认保留两个检查点常驻；Router(preload=True) 会预加载所有检查点；max_loaded 控制常驻内存。除非设置 LAYA_API_KEY，否则 laya-serve 绑定 0.0.0.0:8000 且不进行身份验证。

采用前须知

• 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。