RuneBench は、AI コーディングエージェントの長期プランニングと多段階の問題解決力を、MMORPG のプレイを通じて評価するベンチマークスイートだ。エージェントは TypeScript の SDK 経由でゲームサーバーを操作し、ゲーム内 Wiki から抽出した攻略ドキュメントを検索しながら戦略を組み立てる。スコアの取り方が特徴的で、一定時間の総獲得量ではなく「任意の 15 秒間における最大 XP レート」を採用する。単純作業をひたすら繰り返すだけでは高得点が出にくくなり、状況に応じた戦略の切り替えを促す狙いがある。README では MIT ライセンスとして公開されている。
主な特徴
- 15 秒の最大レートで採点: 当初は時間内の総獲得量で測っていたが、単純な連続作業が有利になりすぎたため現在の方式に変更された。探索やレベルアップに伴う戦略転換を促す狙いがある
- TypeScript コードを書いて操作する: エージェントはツールを呼ぶだけでなく、SDK を使った TypeScript のコードを自分で書いて実行し、ゲームの状態を読み書きする
- ゲーム内 Wiki を戦略資料として渡す: スキル・ショップ・NPC・アイテムの情報をマークダウンで提供し、攻略情報を検索しながらプレイさせる
- 複数タスクの構成: 多数のスキルを対象にした XP タスクと、開始条件を変えたゴールド獲得タスクを、それぞれ時間の異なるバリエーションで用意する
料金
無料。オープンソースとして公開されており、リーダーボードの閲覧も自由にできる。README ではライセンスを MIT と明記しているが、リポジトリ直下に LICENSE ファイルが無く GitHub 上のライセンス判定は未検出の状態（2026 年 8 月時点）。利用条件を厳密に確認したい場合は作者に問い合わせるのが確実だ。ただし自分で実行する場合は Docker 環境の構築に加え、使用するモデルの API 利用料が別途かかる。公開されている実行データでは 1 回あたりのコストが 44 ドルを超えるケースもあり、モデルとタスク長によって幅が大きい。この幅自体が、比較のときに見るべき情報になっている。
メリット・デメリット
✅ メリット
- スコアの隣に 1 回あたりの実行コストが並ぶので、「上位モデルは何倍の金額を払って何点分優れているか」を額で確かめられる
- エージェントの実際の行動ログが公開されており、点数だけでなく「どこで詰まったか」を読める
- 環境が Docker で閉じているため、自作エージェントを同じ条件に載せて既存モデルと比べられる
⚠️ デメリット
- 探索を促す採点設計にした代償として 1 回の実行が長く高額になり、試行回数を稼げない。開発者自身も、サンプル数の少なさによるノイズと偽陰性を制約として挙げている
- スコアがゲーム固有の文脈に依存するため、順位をそのまま「コーディング能力の順位」として読み替えることはできない
類似サービスとの比較
| 比較項目 | RuneBench | Factorio Learning Environment | BALROG |
|---|---|---|---|
| 対象環境 | MMORPG（RuneScape 系のオープンソース実装） | 工場自動化ゲーム | NetHack など複数ゲーム |
| 評価軸 | 15 秒間の最大レート（戦略転換を評価） | 生産ラインの達成率と生産量の最適化 | エピソード単位の進行度・成功率 |
| 性格 | 個人開発とみられる OSS。長時間の自律プレイが前提 | 継続稼働型の環境 | 学術発の複数環境ベンチマーク |
ゲーム環境でエージェントを評価する試みは複数あるが、RuneBench はマルチプレイヤー要素と実際の Wiki 検索を組み込んでいる点に独自性がある。
こんな人におすすめ
- コーディングエージェントの長期プランニング力を、静的なベンチマークとは違う切り口で評価したい研究者・開発者
- 複数のモデルを実行コスト込みで比較したいチーム
- SDK やベンチマーク実行フレームワークを使い、自作エージェントの評価環境を組みたい人
まとめ
「ゲームがうまいか」ではなく「先を見通して手順を組み替えられるか」を測るために、採点方法を設計し直したベンチマーク。試行回数の制約は開発者自身が明言しているので、1 位が誰かを見るより、コストとスコアの散らばりを眺めて「同じ予算帯でどれだけ差がつくか」を読む使い方が向く。