earshot
earshot 为 AI 编程智能体提供听觉能力,可在本地 CPU 上描述、匹配、查找、评审并生成声音,提供 CLI、Python API 和 MCP 服务器。
访问 Leonxlnx/earshot项目简介
earshot 是一个开源、仅用 CPU 的工具包,让 AI 编程智能体能够听见、审查并制作声音。它把音频转化为智能体可推理的证据,并以 CLI、Python API 和 MCP 服务器在本地运行。
核心功能
- 描述音频文件,给出校准标签、AudioSet 标签和测量值。按描述匹配、对候选文件排序,并在长录音中找出最佳片段。比较声音,判断真实录音与代码合成音频,构建聆听时间线和带标注的图页。依据参考配置评审发布视频,并给出带时间戳的修改建议。使用 earshot forge 以代码生成并改进声音,使用 earshot fit 将录音转换为 forge 配方。无需模型或网络,从 201 个音效库中渲染声音并构建影片声音套件。
适用场景
- 帮助编程智能体确认生成的演示、游戏或影片声音是否正确。用文本描述搜索声音库,并定位录音中的最佳时刻。为代码制作的影片构建和检查音效与套件。对照专业参考影片评审发布视频的配乐。
快速开始
- 安装 Python 3.10+ 以及 PATH 中的 ffmpeg/ffprobe,然后克隆仓库并创建虚拟环境。安装 CPU 版 PyTorch,并使用 pip install -e ".[mcp,llm,dev]" 安装软件包。运行 python -m earshot doctor --load 检查安装、模型、数据文件和 CPU 设置。
部署与要求
- 需要 Python 3.10+ 以及 PATH 中的 ffmpeg/ffprobe。项目仅使用 CPU,不使用 GPU。首次使用模型时,会将两个约 1.1 GB 的开源模型下载到本地缓存。可通过 EARSHOT_OFFLINE=1、HF_HUB_OFFLINE=1 或 TRANSFORMERS_OFFLINE=1 强制离线运行;此时缺失的模型会作为错误报告。
采用前须知
- 许可证:MIT。在使用、修改或分发项目前,请确认其具体条款。