米国の BerriAI が開発するオープンソースのLLMゲートウェイ。GPT・Claude・Gemini をはじめ140以上のプロバイダを、OpenAI互換の単一APIで呼び出せるようにする開発者向けの基盤ソフトウェアである。プロバイダごとに異なるSDKやリクエスト形式を覚える必要がなくなり、モデルの切り替えや障害時のフォールバックを設定だけで実装できる。2023年7月の公開以来、単なる呼び出しの共通化にとどまらず、チーム単位の予算管理、レート制御、コスト集計、監査ログ、PIIマスキングといった運用機能を取り込み、社内のLLM利用を一点に集約する「ゲートウェイ」として使われるようになった。ライセンスはMIT（enterprise ディレクトリのみ別ライセンス）で、自前のサーバーやKubernetesクラスタに置いて運用する。
主な特徴
- 140以上のプロバイダを単一APIで: OpenAI・Anthropic・Google Vertex AI・Amazon Bedrock など主要プロバイダを、OpenAIのリクエスト/レスポンス形式に統一して扱える。例外やエラーもOpenAI形式にマッピングされるため、アプリ側のコードを書き換えずにモデルを差し替えられる
- SDKとプロキシの2つの使い方: アプリに直接組み込むPython SDKと、独立したサーバーとして立てるプロキシ（AIゲートウェイ）の両方を提供。プロキシ形態ならOpenAI互換クライアントからそのまま接続でき、既存コードの変更が不要になる
- ルーティングとフォールバック: 複数のデプロイ先へ負荷を分散し、レート制限やエラーが起きたら別のモデル・別のリージョンへ自動的に切り替える。簡単なプロンプトは安価なモデル、複雑な依頼は高性能なモデルへ振り分ける自動ルーティングにも対応
- 仮想キーと予算管理: ユーザー・チーム・組織ごとに仮想APIキーを発行し、上限額（ハードバジェット）やRPM/TPMの制限を設定できる。上限に達したリクエストは自動的に止まるため、想定外の請求を防げる
- コスト集計と可観測性: キー別・チーム別・ユーザー別に利用額を追跡し、Prometheusメトリクスを出力。Langfuse・Arize Phoenix・LangSmith・OpenTelemetry などのログ基盤と連携できる
- ガードレールとMCPゲートウェイ: PIIマスキング、プロンプトインジェクション検知、シークレット検出といったガードレールを備える。MCP（Model Context Protocol）サーバーを集約し、アクセス制御をかけて配る中継役としても使える
料金
| プラン | 料金 | 主な特徴 |
|---|---|---|
| Open Source（セルフホスト） | $0 | 140以上のプロバイダ対応、仮想キー、ユーザー/チーム管理、予算・レート制限、フォールバック、ログ出力、Prometheusメトリクス |
| Enterprise | 要問い合わせ（年間契約） | 上記すべてに加え、SSO + SCIM、OIDC/JWT認証、監査ログ、シークレットマネージャ連携とキーローテーション、組織・チーム管理者権限、マルチリージョン制御、24/7サポートとSLA、エアギャップ環境への導入 |
料金は2026年8月時点の情報です。Enterprise は年間のリクエスト処理量・構成・サポート内容に応じた個別見積もりで、トークン単価での課金ではないと公式に説明されている。最新の料金は公式サイトをご確認ください。
なお、ソフトウェア自体は無料でも、呼び出す先の各LLMプロバイダの利用料は別途かかる。また自分でホストする以上、サーバー費用と運用の手間は自分持ちになる点に注意したい。
メリット・デメリット
✅ メリット
- プロバイダごとのSDKを覚えずに済み、モデルの乗り換えコストが大幅に下がる
- オープンソース（MIT）でセルフホストできるため、プロンプトや応答を外部の第三者に預けずに運用できる
- 仮想キーと予算上限により、チームや案件単位でLLM費用を可視化・制御できる
- フォールバックと負荷分散が標準で備わっており、特定プロバイダの障害やレート制限に強い
- Docker・Kubernetes・Helm・Terraform に対応し、既存のインフラ運用に載せやすい
⚠️ デメリット
- エンドユーザー向けのチャットアプリではなく、開発者・インフラ担当者が構築して使う基盤ソフトウェアである
- セルフホスト前提のため、サーバー構築・アップデート・監視といった運用負荷を自分たちで負う
- SSO・監査ログ・SCIM など企業統制に必要な機能は Enterprise 側にあり、価格は公開されていない
- 対応プロバイダが多いぶん設定項目も多く、ルーティングやガードレールを詰めるには学習が必要
- OpenAI互換の形式に揃える性質上、特定プロバイダ固有の最新機能がそのまま使えない場合がある
類似サービスとの比較
| 比較項目 | LiteLLM | OpenRouter | Portkey | Cloudflare AI Gateway |
|---|---|---|---|---|
| 提供形態 | セルフホスト（OSS） | ホスティング型サービス | ホスティング型（OSS版あり） | Cloudflare上のマネージド |
| オープンソース | あり（MIT） | なし | 一部あり | なし |
| 主な役割 | 社内向けLLMゲートウェイ | 多数モデルへの共通アクセスと課金の一本化 | ゲートウェイ + 可観測性 | キャッシュ・レート制御・ログの前段 |
| 予算・仮想キー管理 | 標準搭載 | クレジット単位で管理 | 標準搭載 | 制限中心 |
| データの経路 | 自社サーバー内 | サービス経由 | サービス経由（OSS版は自社内） | Cloudflare経由 |
同じ「LLMの前に置く層」でも役割は少しずつ違う。自社でデータ経路を握りたいならLiteLLM、契約や支払いをまとめて楽をしたいならOpenRouter、といった選び分けになる。
こんな人におすすめ
- 複数のLLMプロバイダを併用していて、呼び出しコードがプロバイダごとに散らかっている開発チーム
- 部署や案件ごとにLLMの利用額を把握し、上限を設けたい社内のAI推進担当者
- 機密データを扱うため、プロンプトや応答を外部サービスに通さずに運用したい企業
- 特定プロバイダの障害やレート制限で止まらないよう、フォールバック経路を用意しておきたいプロダクト運用者
- 社内のMCPサーバーを一箇所に集約し、アクセス制御をかけて配りたいチーム
まとめ
LiteLLMは、乱立するLLMプロバイダを一つの入口にまとめ、そこにコスト管理・権限管理・ガードレールを載せるためのオープンソース基盤である。個人が手軽に使うチャットツールではないが、複数モデルを本番で使い分ける段階に入った組織にとっては、モデル選択の自由度と運用の統制を両立させる現実的な選択肢になる。まずはセルフホストの無償版で自社の利用パターンを可視化し、SSOや監査ログが必要になった時点でEnterpriseを検討するのが順当な進め方だろう。