Promptfoo

项目简介

Promptfoo 是用于评估和红队测试基于 LLM 应用的 CLI 和库。它支持对提示词和模型进行自动化评估、红队测试与漏洞扫描、模型比较、CI/CD 检查、代码扫描以及与团队共享结果。它是开源项目，采用 MIT 许可证。

核心功能

• 主要功能包括：对提示词、模型和 RAG 流水线进行自动化评估；针对 LLM 应用的红队测试与漏洞扫描；并排比较 OpenAI、Anthropic、Azure、Bedrock、Ollama 等模型提供商；集成 CI/CD，并在拉取请求中扫描 LLM 相关安全与合规问题；LLM 评估可在本地运行，提示词不会离开本机；支持声明式配置、命令行和库用法。

适用场景

• 适用于以下场景：通过自动化评估测试和改进提示词、智能体与 RAG；通过红队测试和漏洞扫描保护 AI 应用；比较不同提供商的模型表现；在 CI/CD 中加入自动化 LLM 检查，并审查拉取请求中的安全与合规问题。

快速开始

• 安装：npm install -g promptfoo，也可使用 brew install promptfoo、pip install promptfoo，或通过 npx promptfoo@latest 运行。运行 promptfoo init --example getting-started。多数 LLM 提供商需要将 API 密钥设置为环境变量，例如 export OPENAI_API_KEY=sk-abc123。进入 getting-started 目录后运行 promptfoo eval 和 promptfoo view。

部署与要求

• 可通过 npm、Homebrew、pip 安装，或使用 npx 运行。多数 LLM 提供商需要以环境变量形式设置 API 密钥。支持本地部署或云端集成。

采用前须知

• 许可证：MIT。在使用、修改或分发项目前，请确认其具体条款。