Promptfooは、LLMを組み込んだアプリケーションの弱点を、本番に出す前のコードの段階で洗い出すためのAIセキュリティプラットフォームである。自動化されたレッドチーミング（模擬攻撃）でプロンプトインジェクションやジェイルブレイク、機密データの漏洩といった問題を検出し、あわせてプロンプト・モデル・RAGパイプラインの品質評価も行える。CLIから npx promptfoo@latest init のように数行で始められ、本体はMITライセンスのオープンソース。GitHubスター数は2万4千を超え、Fortune 500の企業でも利用されている。2026年3月にOpenAIによる買収が発表されたが、オープンソース版は現行ライセンスのまま継続することが明言されている。
主な特徴
- 自動レッドチーミング: 実際の攻撃を模した入力を大量に生成し、プロンプトインジェクション・ジェイルブレイク・データ漏洩・業務ルール違反・危険なツール呼び出しなどを検出する。公式サイトによれば50種類以上の脆弱性タイプをカバーする
- プロンプト／モデル／RAGの評価: YAMLで書いたテストケースをもとに、複数のプロンプトやモデルの出力を並べて比較採点できる。OpenAI・Anthropic・Azure・Bedrock・Ollamaなど主要プロバイダに対応し、モデル差し替えの影響を数値で確認できる
- ガードレールによるリアルタイム保護: テストで見つけた弱点に対し、実行時にジェイルブレイクや敵対的入力をブロックする仕組みを提供する
- IDEとCI/CDでのコードスキャン: 開発者の手元のエディタや、GitHub・GitLab・Jenkinsなどのパイプラインに組み込み、変更のたびにLLM由来の脆弱性を検査できる
- MCPプロキシとモデルセキュリティ: Model Context Protocol（MCP）の通信を仲介して安全性を確保するプロキシや、基盤モデル自体の継続的なテスト・監視機能を備える
- ローカル／セルフホストで完結: 評価もレッドチーミングもローカル実行が基本で、テスト対象のプロンプトやデータを外部に出さずに運用できる
料金
| プラン | 料金 | 主な内容 |
|---|---|---|
| Community | 無料（Free Forever） | すべての評価機能、全モデルプロバイダ・連携、レッドチーミング月10,000プローブ、脆弱性スキャン、ローカル／セルフホスト、コミュニティサポート |
| Enterprise | 要問い合わせ | Communityの全機能に加え、レッドチーミング上限のカスタマイズ、チーム共有、継続モニタリング、セキュリティ／コンプライアンスダッシュボード、SSOと権限管理、API、マネージドクラウド、優先サポートとSLA |
| On-Premise | 要問い合わせ | Enterpriseの全機能に加え、自社インフラへの設置、完全なデータ分離、専用ランナー、専任デプロイエンジニア |
料金は2026年8月時点の情報です。最新の料金は公式サイトをご確認ください。
メリット・デメリット
✅ メリット
- 本体がMITライセンスのオープンソースで、無料のまま評価もレッドチーミングも実務レベルで使える
- CLI中心の設計のため、既存の開発フローやCI/CDにそのまま差し込みやすい
- テストをローカルで完結させられるので、社外に出せないプロンプトやデータでも扱える
- 「攻撃して壊す」レッドチーミングと「品質を測る」評価が同じツールに入っており、セキュリティと精度改善を一本化できる
- 特定のモデルベンダーに縛られず、複数プロバイダを横断して比較できる
⚠️ デメリット
- 設定はYAMLとCLIが基本で、非エンジニアが単独で使いこなすのは難しい
- 無料プランのレッドチーミングは月10,000プローブの上限があり、大規模な継続検査ではEnterpriseの検討が必要になる
- チーム共有・継続モニタリング・SSOといった組織運用向けの機能は有料プラン側に寄っている
- Enterprise／On-Premiseの価格が公開されておらず、導入前に見積もりの手間がかかる
- 攻撃生成に外部モデルを使う構成ではAPI利用料が別途かかる点に注意が必要
類似サービスとの比較
| 比較項目 | Promptfoo | NVIDIA Garak | Lakera Guard | Langfuse |
|---|---|---|---|---|
| 主な用途 | レッドチーミング＋評価＋ガードレール | LLMの脆弱性スキャン | 実行時のプロンプト防御 | LLMアプリの可観測性・評価 |
| 提供形態 | CLI／セルフホスト／クラウド | CLIツール | API／SDK | セルフホスト／クラウド |
| セキュリティ検査 | 中心機能 | 中心機能 | 実行時防御が中心 | 補助的 |
| 品質評価 | 対応 | 限定的 | 非対応 | 中心機能 |
| オープンソース | あり（MIT） | あり | 一部 | あり |
（各サービスの詳細は公式サイトで確認のこと。上表は用途の違いを大づかみに示すためのもの）
こんな人におすすめ
- 社内向け・顧客向けにLLMアプリやAIエージェントを開発していて、公開前に安全性を確認したい開発者
- プロンプトやモデルを変更したときの影響を、感覚ではなく数値で比較したいチーム
- 機密データを扱うためテストを外部SaaSに送れず、ローカルやオンプレで完結させたい組織
- CI/CDに脆弱性チェックを組み込み、リリースのたびに自動で回したいエンジニア
- まず無料で試してから、必要になった段階で有料プランを検討したい人
まとめ
Promptfooは、LLMアプリのセキュリティテストと品質評価を1つのCLIツールにまとめたオープンソースのプラットフォームである。MITライセンスの無料版だけでも実務に耐える範囲をカバーし、チーム運用や継続監視が必要になった段階でEnterpriseに移行できる。YAMLとコマンドラインが前提なので開発者向けの色が濃いが、AIエージェントを本番投入する前の「壊してみる」工程を仕組み化したいなら有力な選択肢になる。2026年3月にOpenAIによる買収が発表されており、オープンソース版の継続は表明されているものの、今後の機能配置やサポート体制は公式アナウンスを追って確認したい。