2枚の写真をアップ→その中間をAIが動画に 「Luma Dream Machine」の新機能、実際に試してみた
AIスタートアップのLuma Labsが提供する動画生成AI「Luma Dream Machine」に新機能「キーフレーム」が登場。これにより、始点から終点までの“中割り動画”を生成可能に。
Dream Machineは、1枚の画像とプロンプトから5秒の動画を生成できる便利なAI。最大30本まで無料利用可能で、Xなどで話題に。
新機能を使って車の写真を動画化した結果、顔やオブジェクトの形を保ちつつスムーズに視点移動する動画が生成できたが、全く別の方向からのカットだと繋がりが薄い。
AIスタートアップの米Luma Labsが提供する動画生成AI「Luma Dream Machine」に新機能「キーフレーム」が登場した。これまでは、始点にあたる写真・画像とプロンプトから動画を生成できたが、新たに動画の終わりのコマを設定できるようになり、始点から終点までの“中割り動画”を生成できるようになる。
Dream Machineは、Luma Labsが6月13日に公開した動画生成AIで、1枚の画像とプロンプトから5秒の動画を生成できるのが特徴。1カ月あたり30本までなら無料で動画を生成できることから、X（旧Twitter）などで話題に。ミーム画像を動画にしたりと、さまざまな動画が投稿されている。現在は10秒以上に動画を延長する「Extend」機能も追加されている。
これまでの動画生成AIと異なり、Dream Machineでは、顔やオブジェクトの形を保ったまま動画化できるのが特徴。とはいえ完璧に同じ形を保つことは難しく、顔が変化したり（時には人種そのものが変わったり）、予想外の挙動を示したりと動画の内容のコントロールが難しかった。始まりだけでなく終わりの画像が指定できるようになることで、より変化を抑えつつ意図した動画を生成しやすくなる。
人物ではないが、車の写真で新機能を試してみた。同じ車で角度が違う2つのカットを読み込ませたところ、ほぼ形が変化することなくスムーズに視点移動する動画を生成できた。写真内のオブジェクトの深度（Depth）も把握しているようで、2枚目で遠くに写り込んでいる人影も、車と被る部分はきちんと背後に回り込み、被らなくなると出現する。
細かく見れば、バックミラーやロールオーバーバーなどが変形してしまっているが、車自体に大きな違和感はなく、比較的自然な動画に仕上がった。
一方で、同じ場所・被写体であっても、全く別の方向から撮影するなど1枚目と2枚目が大きく乖離していると、途中で2枚目のカットにトランジションで切り替わるような動画が生成される傾向にある。動画としてのつながりは薄いため、挙動をコントロールするという意味では思ったような結果にならないかもしれない。
とはいえ、初めと終わりのコマを指定するだけで、モーフィングとも違う、動画としての“中割り”が生成できるというのは興味深い。うまくつながるカット同士なら現時点でも破綻の少ない動画に仕上るので、より精度が上がっていけば「あとちょっと尺が欲しい」時などの救世主になるかもしれない。
