Simular AIが開発する、オープンソースのコンピュータ操作エージェントフレームワーク。APIや専用の連携機能に頼らず、画面のスクリーンショットを見てマウスとキーボードを動かし、人間と同じようにGUIを操作する。2024年10月に最初の論文とコードが公開され、最新版のAgent S3はデスクトップ操作のベンチマーク「OSWorld」で72.60%を記録し、人間の水準を初めて上回った。ライセンスはApache-2.0で、pip install gui-agentsですぐに手元で動かせる。
主な特徴
- GUIをそのまま操作する: 対象アプリがAPIを公開しているかどうかを問わない。画面を見てクリック位置や入力内容を判断するため、既存の業務アプリやレガシーな社内システムもそのまま自動化の対象にできる
- ベンチマークで公開された実績: Agent S3はOSWorldで72.60%（Best-of-N併用）、WindowsAgentArenaで56.6%、AndroidWorldで71.6%（いずれも3ロールアウト）。デスクトップとモバイル双方でスコアが公開されている
- Windows / macOS / Linux対応: 主要デスクトップOSで動作する（シングルモニター前提）。プラットフォームをまたいだゼロショットの汎化性能も論文で示されている
- モデルを選べる設計: 推論役のモデルはOpenAI・Anthropic・Googleなど複数プロバイダから選択でき、画面上の座標を特定するgrounding用モデル（UI-TARS-1.5-7Bなど）と組み合わせて動く。特定ベンダーに固定されない
- コード実行と振り返りの併用: GUI操作だけでなくローカルでPythonやBashを実行できるため、GUIでは回り道になる処理はコードで片付けられる。実行結果を検証するreflectionの仕組みも備える
- 商用版への接続: 同じSimular AIの商用プロダクト（Sai / Simular Cloud）にも組み込まれており、自前でセットアップせずワークフローとして運用する道もある
料金
| プラン | 料金 | 主な内容 |
|---|---|---|
| Agent S（OSS） | 無料 | Apache-2.0ライセンス。ただし呼び出すモデルのAPI利用料は自己負担 |
| Plus | $20/月（PC 1台あたり） | 10,000クレジット（追加購入可）、開発用エージェント1、macOS/Windows、ワークフローエディタ |
| Pro | $500/月（PC 1台あたり） | クレジット無制限、デプロイ用エージェント1、仮想マシン対応、チームでのワークフロー共有、優先サポート |
| Enterprise | 要問い合わせ | 全プラットフォーム対応、エージェント無制限、監査ログ、SOC2 / HIPAA / SSO / RBAC |
年払いプランは公式サイト上で「現時点では提供していない」と案内されている。
料金は2026年8月時点の情報です。最新の料金は公式サイトをご確認ください。
メリット・デメリット
✅ メリット
- フレームワーク本体は無料で、実装がすべて公開されている。挙動を読んで確かめられる
- 画面を見て操作する方式のため、API連携が用意されていないアプリでも自動化の対象にできる
- 推論モデルを差し替えられるので、コストや精度の要件に合わせて調整しやすい
- ベンチマークのスコアと再現条件が公開されており、導入前の比較検討がしやすい
- 小さく試して、運用段階で商用版に移す流れを取れる
⚠️ デメリット
- 実行には各モデルのAPIキーが必要で、その利用料はユーザー負担になる。長いタスクほどトークン消費が膨らむ
- 導入にはpipでのインストールと環境変数の設定が前提で、非エンジニアが単独で使い始めるのは難しい
- マルチモニター環境は想定されていない
- 高いスコアは複数回試行（Best-of-Nや3ロールアウト）を含む条件での数値で、1回の実行で常に同じ精度が出るわけではない
- 画面を実際に操作する以上、誤クリックや誤送信のリスクがある。実行範囲や権限は利用者側で絞る必要がある
類似サービスとの比較
| 比較項目 | Agent S | Anthropic Computer Use | OpenAI CUA | UI-TARS |
|---|---|---|---|---|
| 提供元 | Simular AI | Anthropic | OpenAI | ByteDance |
| 公開形態 | オープンソース（Apache-2.0） | APIの機能として提供 | API・製品として提供 | オープンソース（モデル） |
| 主な対象 | デスクトップ全般 | デスクトップ全般 | ブラウザ操作が中心 | デスクトップ・ブラウザ |
| モデルの選択 | 複数プロバイダから選べる | Claudeを利用 | OpenAIモデルを利用 | 自社モデル |
| 費用の考え方 | 本体無料＋モデルAPI料金 | API従量課金 | API・対応プラン経由 | モデル自体は無料 |
こんな人におすすめ
- APIが用意されていない業務アプリの操作を自動化したいエンジニア
- コンピュータ操作エージェントの内部構造を、コードを読んで理解したい人
- 特定のモデルベンダーに依存せず、複数のモデルを試しながら検証したいチーム
- 研究・検証目的で、ベンチマークの条件が明示された実装を探している人
- まずオープンソースで試し、必要になったら商用版での運用を検討したい人
まとめ
Agent Sは、GUIを人間と同じように操作するエージェントを、実装ごと公開しているフレームワークである。OSWorldでの72.60%という数字は複数回試行を含む条件下のものだが、それでもこの領域の到達点を示す実績と言える。APIのないアプリを自動化したい場面や、コンピュータ操作エージェントの仕組みを自分の手で確かめたい場面で有力な選択肢になる。一方で、モデルAPIの費用と誤操作のリスクは利用者側の管理事項になるため、まずは影響の小さいタスクから試すのが現実的である。