開発者向けのトンネリング／イングレス基盤で知られる ngrok, Inc. が提供する AI ゲートウェイ。OpenAI・Anthropic・Google といったクラウドのモデルと、自分のマシンやサーバーで動かすローカルモデルを、gateway.ngrok.ai という単一のエンドポイントと 1 本のアクセスキーで扱えるようにする。アプリ側は「どのプロバイダーを使うか」を意識せずに済み、プロバイダー障害時の切り替え、キーの管理、利用状況の可視化はゲートウェイ側がまとめて引き受ける。早期アクセスとして公開されたのち、専用ダッシュボードと API を備えた新しい ngrok.ai として刷新されている。
主な特徴
- 1 つの URL をどの SDK からでも: リクエストの baseURL を
https://gateway.ngrok.aiに向け、ngrok のアクセスキーを渡すだけ。OpenAI SDK・Anthropic SDK・Vercel AI SDK など、既存のコードをほぼそのまま使い回せる - ローカルモデルも同じ口から呼べる: Ollama や vLLM で自前ホストしたモデルへ、公開 IP の用意やポート開放なしに接続できる。ngrok 本体のトンネリング技術がそのまま土台になっている
- 自動フェイルオーバーとリトライ: プロバイダーやキーが応答しなくなったら、設定した順に次のモデル・次のキーへ自動で切り替える。クライアント側にエラーハンドリングを書き足す必要がない
- スコープ付きアクセスキー: 「このアプリはこのプロバイダーのこのモデルだけ」といった粒度でキーを発行できる。プロバイダーの本物の API キーはゲートウェイ側に集約され、アプリや開発者に配って回らずに済む
- 利用状況とコストの可視化: トークン消費量・レイテンシ・エラーをダッシュボードで確認でき、プロバイダー別・モデル別のコスト内訳も追える
- API・CLI・Terraform から構成管理: 設定はすべて API 経由で行えるため、CLI やコーディングエージェント、Terraform といった外部ツールから宣言的に管理できる
料金
AI ゲートウェイの利用そのものは、前払いのクレジットを消費する従量課金になっている。ゲートウェイを通した成功リクエストには 100 万トークンあたり $0.05 の処理手数料がかかり、これに推論コストが加わる。自分で契約したプロバイダーのキーを持ち込む BYOK は全プランで無料で、モデル代はプロバイダーから直接請求される。ngrok 側に組み込まれた OpenAI / Anthropic をそのまま使う場合は、モデル代もクレジットから差し引かれる。クレジットは最低 $5 からの購入で、購入から 1 年で失効する。
アカウントのプラン（トンネリング基盤と共通）は次の 4 種類。
| プラン | 月額料金 | 主な内容 |
|---|---|---|
| Free | $0 | 初回 $5 クレジット、エンドポイント 3 つまで、月 20,000 リクエスト。AI ゲートウェイ用クレジットの追加購入も可能 |
| Hobbyist | $10（年払いで年 $24 割引） | 毎月 $10 分のクレジット、エンドポイント 3 つまで、月 100,000 リクエスト |
| Pay-as-you-go | $20 + 従量課金 | 毎月 $20 分のクレジット、エンドポイント無制限 |
| Enterprise | 要問い合わせ | SSO / SAML、専任サポート、HIPAA・SOC 2 対応 |
料金は2026年8月時点の情報です。最新の料金は公式サイトをご確認ください。
メリット・デメリット
✅ メリット
- プロバイダーごとに SDK やキーを使い分けていた部分を、1 本のベース URL とキーに集約できる
- プロバイダー障害やレート制限に対するフェイルオーバーを、アプリのコードを書き換えずに用意できる
- クラウドモデルとローカルモデルを同じインターフェースで並べられるため、コストや機密性に応じた切り替えがしやすい
- スコープ付きキーにより、本番用の API キーをチーム内に配布せずに済む
- 月額サブスクリプションなしでも、クレジットを買えば使い始められる
⚠️ デメリット
- ゲートウェイを経由する分、処理手数料とネットワークホップが 1 段増える
- 障害点が 1 つ増えるため、ゲートウェイ自体が落ちたときの影響範囲は大きい
- クレジットは前払いかつ 1 年で失効するため、利用量が読めないうちは残高管理が要る
- 比較的新しいサービスで、対応プロバイダーや機能は今後も変動しうる
- チーム機能や内部エンドポイントなど、一部の機能は有料プランが前提になる
類似サービスとの比較
| 比較項目 | ngrok.ai | OpenRouter | LiteLLM | Cloudflare AI Gateway |
|---|---|---|---|---|
| 提供形態 | マネージドゲートウェイ | マネージドルーター | OSS プロキシ（自前運用が基本） | マネージドゲートウェイ |
| ローカルモデル接続 | トンネリング経由で対応 | 基本的に非対応 | 対応（自前ホスト前提） | 限定的 |
| フェイルオーバー | 対応 | 対応 | 対応 | 対応 |
| スコープ付きキー発行 | 対応 | 対応 | 対応 | Cloudflare の認証機構に依存 |
| 課金の考え方 | 前払いクレジット + トークン手数料 | クレジット購入時に手数料 | ソフト自体は無料（運用コストは自前） | 無料枠あり |
ローカルモデルを公開せずに同じゲートウェイへぶら下げられる点が、ngrok.ai のいちばんの差別化要素になっている。逆に、モデルの品揃えやルーティングの選択肢そのものを重視するなら OpenRouter、すべてを自分の環境に閉じたいなら LiteLLM の自前運用が候補になる。
こんな人におすすめ
- 複数の LLM プロバイダーを併用していて、キー管理と切り替えのコードが散らかってきた開発者
- プロバイダー障害やレート制限で本番サービスが止まるのを避けたいプロダクトチーム
- 機密性の高い処理はローカルモデル、それ以外はクラウドモデルと使い分けたいチーム
- アプリや開発者ごとに使えるモデルを制限し、AI 利用のコストを部署単位で追いたい管理者
- すでに ngrok をトンネリング用途で使っており、同じ運用ラインに AI 経路も乗せたい人
まとめ
ngrok.ai は、LLM 利用のうち「どこにつなぐか」「キーをどう配るか」「落ちたらどうするか」という運用まわりを、アプリの外側にまとめて追い出すためのゲートウェイである。とりわけローカルモデルを公開せずに同じエンドポイントへ組み込める点は、ngrok というトンネリング基盤を持つ企業ならではの強みといえる。まずは無料枠と少額のクレジットで既存アプリの baseURL だけ差し替えて試し、フェイルオーバーや可視化が実運用に効くかを確かめるとよい。