AgentCoder は、LLM を使ったコード生成の精度を「複数のエージェントの分業」で引き上げる研究発のオープンソースフレームワーク。コードを書くプログラマーエージェント、テストケースを独立して設計するテスト設計者エージェント、実際にテストを走らせて結果を返すテスト実行者エージェントの3者が協調し、失敗したテストのフィードバックをもとにコードを何度も書き直す。論文「AgentCoder: Multi-Agent-based Code Generation with Iterative Testing and Optimisation」は 2023年12月に arXiv で公開され、香港大学の Dong Huang 氏らの研究チームが実装を GitHub で MIT ライセンス公開している。
主な特徴
- 3つの専門エージェントによる分業: 「書く人」「テストを考える人」「テストを動かす人」を分離する。プログラマーエージェントがコードを生成し、テスト設計者エージェントが実装を見ずに独立してテストケースを作り、テスト実行者エージェントが実際に走らせて結果を返す
- テスト設計をコード生成から独立させる: 同じモデルに「コードとテストを両方書かせる」と、自分のコードに都合のよいテストを書いてしまい検証にならない。AgentCoder はテスト設計を別エージェントに切り出すことでこの偏りを避ける設計になっている
- 失敗フィードバックによる反復最適化: テストが落ちたらエラー内容をプログラマーエージェントに戻して修正させる、というループを回す。人間が「動かないよ」と伝えて直させる作業を自動化したイメージ
- ベンチマークでの高い正答率: 論文では GPT-4 を使った場合に HumanEval で pass@1 96.3%、MBPP で 91.8% を報告している。同時に、当時の最先端手法（HumanEval 90.2% / MBPP 78.9%）よりトークン消費量が少なかったとしている
- Python 実装・MIT ライセンス: リポジトリを clone し、
pip install -r requirements.txtで依存関係を入れ、.envに API キーを設定して各スクリプト（プログラマー → テスト設計 → テスト実行）を順に実行する構成。研究用途にも商用検証にも使いやすいライセンス
料金
| 項目 | 費用 | 内容 |
|---|---|---|
| AgentCoder 本体 | 無料 | GitHub 公開のオープンソース（MIT ライセンス） |
| LLM の利用料 | 従量課金 | 使用する LLM プロバイダー（OpenAI 等）の API 料金が別途かかる |
料金は2026年8月時点の情報です。AgentCoder 自体に有料プランはありません。LLM の従量課金は各プロバイダーの公式ページを確認してください。実装の最新状況は公式リポジトリをご確認ください。
メリット・デメリット
✅ メリット
- ソフトウェア本体は無料で、ソースコードをすべて読める。挙動を確認しながら自分の用途に合わせて改造できる
- 「生成 → テスト → 修正」のループが最初から組み込まれており、1回きりの生成に比べて明らかな誤りが減る
- テスト設計を独立したエージェントに任せる設計は、自作のエージェント基盤を設計するときの参考になる
- 論文とコードが対で公開されているため、なぜその構成なのかを追いながら読める
⚠️ デメリット
- 製品ではなく研究プロトタイプであり、GUI もインストーラーもない。Python とコマンドライン操作の知識が前提になる
- HumanEval / MBPP のような「関数1つを書く」ベンチマーク向けに作られており、既存の大規模リポジトリを改修する用途にそのまま使えるわけではない
- エージェント間で何度もやり取りするぶん、単発の生成より LLM API の呼び出し回数とコストが増える
- 研究成果の公開が主目的のため、継続的なアップデートやサポートは商用ツールほど期待できない
- 生成されたテストが常に正しいとは限らず、最終的なレビューは人間が担う必要がある
類似サービスとの比較
| 比較項目 | AgentCoder | MetaGPT | ChatDev | AutoGen |
|---|---|---|---|---|
| 位置づけ | 研究発のコード生成フレームワーク | ソフトウェア開発工程を模したマルチエージェント | 仮想ソフトウェア会社を模したマルチエージェント | 汎用のマルチエージェント構築フレームワーク |
| 主眼 | テストによる検証と反復修正 | 要件定義から実装までの工程再現 | 役割分担による開発プロセスの再現 | エージェント間の対話設計そのもの |
| 対象タスク | 関数レベルのコード生成 | 小〜中規模アプリの生成 | 小規模アプリの生成 | コード生成に限らない汎用タスク |
| ライセンス | MIT | オープンソース | オープンソース | オープンソース |
| 実行環境 | Python スクリプト | Python | Python | Python / .NET |
こんな人におすすめ
- LLM のコード生成精度を上げる仕組みを、論文と実装の両面から理解したい人
- 自社のコード生成パイプラインに「自動テストによる検証ループ」を組み込みたいエンジニア
- マルチエージェント構成を自作する前に、成功例の設計を読んで参考にしたい開発者
- コード生成手法の比較実験・ベンチマーク検証を行いたい研究者や学生
まとめ
AgentCoder は「1つの LLM にコードを書かせて終わり」という使い方の限界に対し、テスト設計を独立させて検証ループを回すという明快な答えを示したフレームワークである。すぐ使える開発ツールというより、仕組みを学び自分の環境に取り込むための土台に近い。マルチエージェントによるコード生成に関心があるなら、論文とリポジトリを並べて読む価値がある。