Kev

项目简介

Kev 是建立在 Qwen3.5 和 Qwen3.8 之上的小型决策模型家族，基于 Jev's Architecture Unmasked 所述架构。它以 Kev 1.0 发布四个尺寸，从可在笔记本运行的 0.8B 到适合单张数据中心 GPU 的 27B。你可以使用预训练权重或自行训练；其 API 与 TypeSafe 的 System One 匹配，因此 TypeSafe 的 Python SDK 可指向本地 Kev 服务器。

核心功能

• 一次请求可包含是/否（noul）、多选（choice）和评分（score）问题；问题共享文本，但不能互相读取。默认提供校准概率，每个检查点附带拟合温度。TypeSafe Python SDK 可直接对 Kev 服务器工作，兼容 Jev。四个尺寸以 Kev 1.0 一起版本化：Kev-0.8B、Kev-4B、Kev-9B 和 Kev-27B。支持最长 65,536 token 的文档，各模型卡片记录已验证上下文；可在 CUDA、ROCm 和 Apple Silicon 上通过 MLX 执行。可在自有标注样本上微调，并部署空闲时缩容到零的 HTTPS 端点。

适用场景

• 按部门路由支持工单，并从文本评估升级需求或客户挫败感。对文档和短文本进行分类或评分，用校准概率设置自动化阈值。在领域特定标注数据上微调决策问题，例如路由类别、升级规则或另一种语言。为已使用 TypeSafe System One API 的应用运行本地或自托管决策模型推理。

快速开始

• 可先在 Hugging Face Space 浏览器试用 Kev-4B 和 Kev-0.8B，无需安装。本地使用需 Python 3.12 或 3.13 和 uv；克隆仓库后运行 uv sync --extra serve，再用 uv run --extra serve python -m kev.serve --run jaredpalmer/kev-4b --port 8009 启动服务器。向 POST /v1/systemone 发送包含 state 和 questions 的请求，或使用 uv sync --extra serve 包含的

部署与要求

• 本地服务需要 Python 3.12 或 3.13、uv 和支持的加速器；默认设备选择依次探测 CUDA 或 ROCm、MPS，最后 CPU。Kev-0.8B 可在 4 GB GPU 或任何 Apple Silicon Mac 上运行；Kev-4B 和 Kev-9B 面向 L40S 或 H100 级 GPU；Kev-27B 需要 80 GB GPU，以 bf16 服务时约 66 GB 常驻（含服务缓冲区）。若需 HTTPS 端点，需要 Modal 账户；部署空闲时缩容到零，空闲后首个请求需等待约 35 秒启动容器。本地服务器默认绑定

采用前须知

• 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。