AI Deck

MLC LLM ─ PC・スマホ・ブラウザまで、あらゆる端末でLLMをローカル実行するオープンソース推論エンジン

MLC LLM は、大規模言語モデル(LLM)を自分のPC・スマートフォン・Webブラウザ上でそのまま動かすためのオープンソースのデプロイメントエンジンである。特徴は「機械学習コンパイル(ML Compilation)」という手法で、モデルを実行先のハードウェアに合わせて事前にコンパイルし、専用のGPUライブラリを生成する点にある。この仕組みにより、NVIDIA・AMD・Apple・Intel といった異なるGPUはもちろん、ブラウザのWebGPUやAndroidのOpenCLまで、同じモデルを幅広い環境で高速に動かせる。中核となる推論システム MLCEngine は OpenAI 互換 API を備えており、REST・Python・JavaScript から呼び出せるため、既存の OpenAI クライアントのコードをほとんど書き換えずにローカル実行へ切り替えられる。ライセンスは Apache 2.0、2023年4月の公開以来、Apache TVM をベースに開発が続いている。

主な特徴

  • ML コンパイルによる端末最適化: Apache TVM を基盤に、モデルを実行先のハードウェア向けバイナリへコンパイルする。汎用ランタイムでそのまま読み込む方式と違い、端末ごとの性能を引き出しやすい
  • 幅広いバックエンド対応: CUDA・ROCm・Metal・Vulkan・OpenCL・WebGPU・CPU に対応し、Linux / Windows / macOS / iOS / iPadOS / Android / Webブラウザで動作する。一つのモデルを環境を選ばず展開できるのが最大の強み
  • OpenAI 互換 API(MLCEngine): REST サーバー・Python・JavaScript・iOS・Android のいずれからも同じエンジンを呼べる。OpenAI SDK 互換のため、クラウドAPIを使っていた既存アプリの向き先をローカルへ差し替えやすい
  • ブラウザ内実行(WebGPU / WebAssembly): 姉妹プロジェクトの WebLLM と組み合わせることで、サーバーを一切使わずブラウザのタブ内だけでモデルを動かせる。データが端末外に出ない構成を作りやすい
  • 量子化によるモデル軽量化: int3 / int4 / int8 / FP16 などの量子化に対応(利用できる精度はバックエンドにより異なる)。メモリの限られたスマートフォンでも実用的なサイズまで圧縮できる
  • 公式モバイルアプリ: iOS 向けには App Store で「MLC Chat」が配信されている。Android 版はソースからビルドして利用する
  • 完全なオープンソース: Apache 2.0 ライセンスで公開され、GitHub 上で活発に開発されている。商用利用も含めて制約が少ない

料金

プラン料金主な内容
オープンソース版無料(Apache 2.0)エンジン・コンパイラ・各種SDK・モバイルアプリのすべて

MLC LLM はソフトウェア自体が無償で、利用にあたって課金は発生しない。ただし推論はすべて自分の端末やサーバーで行うため、実質的なコストは「動かすハードウェアの調達・電力」に置き換わる点は理解しておきたい。商用サポートや有償プランは公式サイト上で案内されていない。

料金は2026年8月時点の情報です。最新の情報は公式サイトをご確認ください。

メリット・デメリット

メリット

  • 対応プラットフォームの広さが群を抜いており、デスクトップからスマホ、ブラウザまで同じ枠組みで展開できる
  • OpenAI 互換 API のため、既存のクライアントコード・ツールをほぼそのまま流用できる
  • 推論が端末内で完結するため、機密性の高いデータをクラウドへ送らずに済む
  • API 利用料が発生せず、使うほど費用がかさむ構造にならない
  • Apache 2.0 で商用利用しやすく、製品への組み込みを検討できる

⚠️ デメリット

  • モデルを事前にコンパイルする必要があり、ダウンロードしてすぐ動かす手軽なツールに比べて初期セットアップの手間が大きい
  • 端末のGPU・メモリに性能が強く依存する。大きなモデルをスマートフォンで快適に動かすのは難しい
  • コンパイラやバックエンドの知識がある程度求められ、非エンジニアが単体で扱うにはハードルが高い
  • 最新モデルへの対応は、変換・コンパイル対応が入るまで待つ必要がある場合がある
  • チャットUIそのものを提供する製品ではなく、あくまで基盤エンジンという位置づけ

類似サービスとの比較

比較項目MLC LLMOllamallama.cppLM Studio
位置づけコンパイル型の展開エンジンローカル実行の管理ツールC/C++の推論ライブラリGUI付きローカル実行アプリ
対象ユーザー開発者・アプリ組み込み開発者・一般ユーザー開発者非エンジニア〜開発者
モバイル対応iOS / Android 対応公式には非対応ビルドすれば可能非対応
ブラウザ実行WebGPU で対応非対応WASM ビルドで一部可能非対応
導入の手軽さコンパイルが必要でやや高いコマンド1つで導入しやすいビルド前提インストーラで最も簡単
ライセンスApache 2.0オープンソースMIT無料(プロプライエタリ)

こんな人におすすめ

  • スマートフォンアプリやブラウザアプリに、LLM をオフラインで組み込みたい開発者
  • 社外にデータを出せない要件があり、推論を端末内で完結させたいチーム
  • NVIDIA 以外(AMD・Apple・Intel)のGPUでもローカル推論を動かしたい人
  • クラウドAPIの従量課金を避け、手元のハードウェアで推論コストを固定したい人
  • OpenAI 互換 API のまま、バックエンドだけをローカルへ差し替えたい既存プロダクトの開発者

まとめ

MLC LLM は、機械学習コンパイルという独自のアプローチで「どの端末でもLLMを動かす」ことに挑んでいるオープンソースプロジェクトである。手軽さでは Ollama や LM Studio に譲るが、iOS・Android・ブラウザまで含めた展開範囲の広さと、OpenAI 互換 API による移行のしやすさは他にない強みといえる。ローカルLLMを「試す」段階なら他ツールが向くが、実際に製品へ組み込んで配布する段階になったとき、有力な選択肢になる。まずは公式ドキュメントのクイックスタートで、手元の環境にモデルをコンパイルして動かしてみるとよい。

関連リンク

← ブログ