Google Researchが2024年1月に発表した、テキストから動画を生成する拡散モデルの研究プロジェクト。Weizmann Institute、Tel Aviv University、Technionの研究者も参加している。従来の動画生成モデルが「まずキーフレームを作り、あとから間を埋めて滑らかにする」という手順を踏むのに対し、Lumiereは動画の全時間長を一度のパスでまとめて生成する。この設計により、動きの大きさと時間方向の一貫性を両立させることを狙っている。テキストからの動画生成に加え、画像からの動画化、スタイル参照生成、インペインティングといった応用も示されている。なお、Lumiereは論文とプロジェクトページが公開された研究成果であり、一般ユーザーが使えるアプリやAPIとしては提供されていない。
主な特徴
- Space-Time U-Netによる一括生成: 空間方向と時間方向の両方でダウンサンプリング／アップサンプリングを行うU-Net構造を採用し、動画の全フレームを一度の処理で生成する。キーフレーム生成と時間方向の超解像を分ける従来手法と異なり、途中で時間の整合性が崩れにくい
- 5秒・80フレーム・16fpsの動画を生成: 論文では80フレーム／16fps、つまり5秒の動画を生成すると説明されている。研究チームは、当時の競合手法が4秒程度で動きの少ない出力になりがちだったのに対し、より大きな動きを保ちながら一貫性を維持できたと報告している
- 学習済みのテキスト→画像モデルを土台にする: ゼロから動画モデルを学習するのではなく、既存のテキストから画像を生成する拡散モデルの重みを活用して動画へ拡張している
- 画像からの動画生成（Image-to-Video）: 静止画を起点にして、その内容を保ったまま動きを与えた動画を作れる
- スタイル参照生成とビデオスタイライズ: 参照画像のタッチや質感を反映した動画を生成できるほか、既存動画に対してフレーム間で一貫したスタイル変換をかけられる
- シネマグラフとインペインティング: 静止画の一部だけを動かすシネマグラフや、マスクした領域の中身を書き換えるビデオインペインティングにも応用できる
料金
| プラン | 料金 | 内容 |
|---|---|---|
| 一般提供なし | ─ | 研究論文とプロジェクトページのみが公開。アプリ・API・学習済みモデルの一般公開は発表されていない |
料金は2026年8月時点の情報です。最新の状況は公式プロジェクトページをご確認ください。
メリット・デメリット
✅ メリット
- 動画全体を一度に生成する設計のため、時間が進んでも被写体や背景が崩れにくい
- 動きの大きさと一貫性を両立させる方向性を示し、その後の動画生成研究に影響を与えた
- テキストからの生成だけでなく、画像の動画化・スタイル転写・インペインティングまで同じ枠組みで扱える
- プロジェクトページで多数の生成例が公開されており、手法の実力を目で確かめられる
⚠️ デメリット
- 研究プロジェクトであり、一般ユーザーが試せるサービスとして提供されていない
- 公式な実装コードや学習済みの重みが公開されていないため、自分で再現するハードルが高い
- 生成できる長さは5秒程度で、そのままでは長尺の映像制作には向かない
- 2024年1月発表の成果であり、以降に登場した商用動画生成サービスとは前提となる世代が異なる
類似サービスとの比較
論文中で比較対象とされたモデル・サービスと並べると、Lumiereの位置づけが分かりやすい。
| 比較項目 | Lumiere | Runway | Pika | Stable Video Diffusion |
|---|---|---|---|---|
| 提供元 | Google Research | Runway | Pika Labs | Stability AI |
| 位置づけ | 研究プロジェクト | 商用サービス | 商用サービス | 公開モデル |
| 一般利用 | 不可 | 可能 | 可能 | 可能（モデル公開） |
| 生成の考え方 | 全時間長を一度に生成 | キーフレーム＋時間方向の補間が主流 | キーフレーム＋時間方向の補間が主流 | 画像モデルの動画拡張 |
| 主な用途 | 手法の研究・検証 | 映像制作・広告 | SNS向け短尺動画 | 自前環境での実験・組み込み |
Googleが一般ユーザー向けに提供している動画生成機能は、Lumiereではなく別系統のプロダクトとして展開されている。Lumiereはあくまで、その基盤となる技術的アイデアを示した研究成果と捉えるのが正確である。
こんな人におすすめ
- 動画生成モデルの内部構造や設計思想を理解したいエンジニア・研究者
- キーフレーム方式と一括生成方式の違いを、実例つきで確認したい人
- 動画生成技術の進化の流れを追いかけたいAI関連の情報発信者
- 自社プロダクトへ動画生成を組み込む際に、手法選定の判断材料を集めている開発者
まとめ
Lumiereは、動画の全時間長を一度に生成するというアプローチで、動きの大きさと時間方向の一貫性を両立させようとしたGoogle Researchの研究モデルである。テキストからの動画生成にとどまらず、画像の動画化・スタイル転写・インペインティングまで同じ枠組みで扱える点が特徴だ。ただし、一般提供されているサービスではなく、コードや重みも公開されていないため、今すぐ動画を作りたい人が使えるツールではない。動画生成の仕組みを理解したい人や、技術の潮流を押さえたい人にとって参照価値の高い成果と位置づけるのが適切である。