ARC-AGI（Abstraction and Reasoning Corpus for Artificial General Intelligence）は、Keras の作者として知られる François Chollet が 2019 年の論文「On the Measure of Intelligence」とともに公開した AI ベンチマークである。現在は非営利の ARC Prize Foundation が運営し、色付きのグリッドパズルなど「人間にはすぐ解けるのに AI には難しい」課題を使って、AI が未知の問題にどれだけ効率よく適応できるかを測る。知識量や事前学習の規模ではなく、その場で新しいルールを見つけ出す力（流動性知能）に焦点を当てているのが特徴で、AGI 研究の進捗を測る代表的な指標のひとつとして参照されている。
主な特徴
- スキル獲得効率で知能を測る: 大量の知識を暗記しているかではなく、「見たことのない課題を、どれだけ少ない例から習得できるか」を評価する。Chollet の定義では、知能とはこの学習効率そのものである
- 文化的知識に依存しないタスク設計: 出題はすべて、色・数・対称性・物体のまとまりといった「コアナレッジ事前分布」（人が幼い頃に自然に獲得する認知の基礎）だけで解けるように作られている。言語知識や専門知識の差が結果を左右しないため、人と AI を同じ土俵で比較できる
- ARC-AGI-1（2019）: 最初の版。1,000 タスクからなり、LLM が台頭する前に作られた。2024 年後半にテスト時適応（test-time adaptation）の手法が登場するまで、長らくスコアがほとんど伸びなかったことで知られる
- ARC-AGI-2（2025）: 学習用 1,000 タスクに加え、較正済みの公開評価 120 タスク、Kaggle 用のセミプライベート 120 タスク、最終順位用のプライベート 120 タスクで構成される。サンディエゴでの 400 名以上を対象にした対面テストで較正され、全タスクが 2 名以上の人間により 2 回以内の試行で解かれている
- コスト効率を明示的に測る: ARC-AGI-2 からは正答率だけでなく 1 タスクあたりのコストも併記される。「総当たりで解く」のではなく「効率よく解く」ことを知能とみなす設計思想が、評価指標に組み込まれている
- ARC-AGI-3（2026）: 2026 年 3 月 25 日に公開された、初の対話型（インタラクティブ）推論ベンチマーク。静的な入出力ペアではなく、説明も目標もルールも示されないゲーム環境に AI エージェントを置き、探索・世界モデルの構築・目標設定・計画実行を通じて自力でクリアさせる。公開時点ではフロンティアモデルのスコアがいずれも 1% 未満だった一方、人間はすべての環境をクリアしている
- 公開リーダーボードとコンペティション: 検証済みリーダーボードとコミュニティリーダーボードが公開され、毎年 ARC Prize として賞金付きのコンペティションが Kaggle 上で開催される
料金
| 項目 | 費用 | 内容 |
|---|---|---|
| データセット（学習用・公開評価用） | 無料 | 公式サイトと GitHub から誰でも入手できる |
| タスクの体験・リーダーボード閲覧 | 無料 | ブラウザ上で実際のタスクを自分で解ける |
| ARC Prize 2026 への参加 | 無料（Kaggle 経由で応募） | ARC-AGI-3 トラックの賞金は総額 85 万ドル（グランプリ 70 万ドル、上位賞 7.5 万ドル、マイルストーン賞 7.5 万ドル）。ARC-AGI-2 トラックを含めた全体では 200 万ドル超 |
| 評価に使うモデルの実行コスト | 参加者の自己負担 | 商用 API を使って挑戦する場合、その推論費用は各自の負担になる |
料金は2026年8月時点の情報です。最新の情報は公式サイトをご確認ください。
メリット・デメリット
✅ メリット
- 事前学習の規模や知識量ではなく、未知の課題への適応力を測るため、モデルの「素の推論力」を見極めやすい
- タスクが視覚的なグリッドパズルなので、専門知識がなくても人間が自分で解いて難しさを体感できる
- データセット・リーダーボード・ドキュメントがすべて公開されており、個人でも研究や検証に使える
- 正答率とコストを併記するため、「金をかければ勝てる」という抜け道が塞がれている
- ARC-AGI-3 の登場で、静的な問答からエージェントの行動評価へと評価軸が拡張された
⚠️ デメリット
- あくまで研究用ベンチマークであり、業務で使う AI ツールではない。日常的な作業を効率化する用途には向かない
- スコアが実務性能に直結するとは限らない。ARC-AGI で高得点でも、文章生成やコーディングの実力を保証するものではない
- 課題の抽象度が高く、結果を解釈するには論文や公式ドキュメントを読み込む必要がある
- コンペティションに本格参加するには、Kaggle の計算資源制約やオープンソース化の要件を満たす手間がかかる
類似サービスとの比較
| 比較項目 | ARC-AGI | Humanity’s Last Exam | SWE-bench | MMLU |
|---|---|---|---|---|
| 測るもの | 未知の課題への適応力・学習効率 | 専門領域の最難関知識と推論 | 実際のリポジトリでのバグ修正能力 | 幅広い分野の知識 |
| 出題形式 | 色付きグリッドのパズル／対話型ゲーム環境 | 各分野の専門家が作成した難問 | GitHub の実 Issue と対応するテスト | 多肢選択式の試験問題 |
| 人間の基準 | 一般の人がほぼ全問解ける | 専門家でも極めて難しい | 熟練エンジニアが解ける | 分野ごとに差が大きい |
| 事前知識の影響 | ほぼ受けない設計 | 大きく受ける | 大きく受ける | 大きく受ける |
| 主な用途 | AGI への進歩の測定 | フロンティアモデルの上限測定 | コーディングエージェントの評価 | 汎用知識の比較 |
こんな人におすすめ
- AI の「賢さ」が実際どこまで来ているのかを、ベンチマークの数字の背景ごと理解したい人
- AGI をめぐる議論を、マーケティング文句ではなく測定可能な指標で追いかけたい人
- 推論・汎化に関する研究をしていて、公開データセットで手法を検証したい研究者・開発者
- 賞金付きコンペティションを通じて、テスト時適応やエージェント設計に挑戦したいエンジニア
- 教育や講演で「人間と AI の得意・不得意の違い」を具体例で示したい人
まとめ
ARC-AGI は、AI の性能を知識量ではなく「未知への適応効率」で測ろうとする点で、他の主要ベンチマークとは立ち位置が異なる。人間なら数秒で解ける課題にフロンティアモデルが苦戦するという結果は、現在の AI に何が足りないのかを端的に示している。ARC-AGI-3 で対話型のエージェント評価へ踏み込んだことで、その問いはさらに「行動して学べるか」へと広がった。実務ツールではないが、AI の進歩を自分の目で確かめたいなら、まずは公式サイトで実際のタスクをいくつか解いてみるのが早い。