local.ai は、AI モデルをローカル環境で動かすときの構成を選ぶためのベンチマークサイトだ。掲げている問題意識は「ローカルで動かすこと自体はもう簡単だが、何を動かすかを決めるのは難しい」というもので、モデル・ハードウェア・エージェントハーネス・推論エンジン・量子化方式という複数の選択を、組み合わせたまま丸ごと測る。速度と評価のデータを生成しているのはローカル推論の当事者でもある Exo Labs で、サイト自身は「ハードウェアベンダーやモデルプロバイダーとの商業的関係を持たない独立した参照」であることを掲げている。この構図は記事の後半でもう一度触れる。
主な特徴
- システム組み合わせ単位での計測: モデル単体でもハードウェア単体でもなく、モデル・ハードウェア・推論エンジン・量子化やプルーニングまで含めた構成を 1 つの測定対象として扱う
- 知能・速度・コストの 3 指標: 「知能」は GDPVal などの評価スイート全体の加重平均から算出する Intelligence Index、「速度」は end-to-end のタスク完了時間、「コスト」はハードウェア費用と電気代を軸に置く
- トークン処理速度を主指標にしない設計判断: 公開されている例では、デコード速度がほぼ同じ 2 構成（17.77 tok/s と 17.14 tok/s）で、GDPVal タスクの完了時間の中央値が 39.1 分と 11.9 分に分かれている。tok/s だけを見て構成を決めるのは無理があるという立場を、実測値で示している
- ハードウェアのフロンティア分析: Mac の M4 Max（128GB・40 コア GPU）や NVIDIA の DGX Spark（GB10・128GB）といった実機を、価格帯ごとに「知能と速度」の複合軸で並べる。メモリ帯域では M4 Max が 546 GB/s、DGX Spark が 273 GB/s と 2 倍差がつく一方、タスク完了時間の中央値は 19.8 分と 28.7 分で差が縮まる、といった読み方ができる
料金
ベンチマークの閲覧とプロフィール作成は無料。有料プランについては公開ページに記載がないため、必要なら公式サイトで確認するのが確実だ。
メリット・デメリット
✅ メリット
- 「同じ tok/s でも完了時間が 3 倍違う」ような、カタログスペックからは読めない差が数値で提示されるので、購入前に候補を絞り込める
- 量子化まで含めた組み合わせで載っているため、手元のマシンを買い替えずに構成を変えるだけで改善できる余地があるかを判断できる
- モデル名ではなく構成で並んでいるので、「大きいモデルの重い量子化」と「小さいモデルの軽い量子化」のどちらが得かという、実際に悩む形の比較ができる
⚠️ デメリット
- 中立性を掲げる一方で、測定しているのはローカル推論を事業とする Exo Labs 自身であり、第三者が同じ数値を再現する仕組みは公開されていない。この構図は、独立系を名乗るベンチマークが常に抱える緊張でもある
- 2026 年 8 月に公開されたばかりで、掲載される構成の網羅性やデータの更新頻度がどこまで維持されるかは、まだ実績で判断できない
類似サービスとの比較
| 比較項目 | local.ai | Artificial Analysis | MLPerf |
|---|---|---|---|
| 主な対象 | ローカル実行（モデル + ハードウェア構成） | クラウド API 提供モデル | ベンダーが提出する推論・学習性能 |
| 速度指標 | 実タスクの完了時間 | トークン処理速度中心 | 標準化されたベンチマーク |
| コスト軸 | ハードウェア費用 + 電気代 | API 料金 | 性能が主眼 |
| 測定主体 | 運営元が自ら実測 | 運営元が API 経由で実測 | ベンダーが提出し監査を受ける |
クラウド API の横断比較なら Artificial Analysis、ベンダー公式値なら MLPerf、手元のマシンで動かす前提なら local.ai、という住み分けになる。
こんな人におすすめ
- ローカル LLM 用に GPU やチップ搭載マシンの購入を検討していて、tok/s 以外の判断材料がほしい人
- 手元のマシンは変えずに、モデルや量子化の組み合わせを変えることで改善できないか探している人
- クラウド API の課金をハードウェア購入に置き換えられるか、コストで比較したい人
まとめ
「速いモデル」ではなく「速い構成」を探すためのサイト。tok/s では見えない完了時間の差を実測値で提示する設計が中心にあり、購入前の絞り込みに向く。一方で測定の担い手が当事者である点は記事中で触れたとおりで、順位を鵜呑みにするより「なぜこの構成が速いのか」の説明として読むのが実用的だ。