「個人の夢を生成AIで具現化した映画」が世界を席巻する未来がやってくるかもしれない

2022年に来日し、デザイナーや映像のディレクターなどが集うクリエイティブエージェンシーにおいて映像編集者として働ながら東京大学大学院情報学環・学際情報学府の研究生として過ごしてきた肖雲鵬。

彼は生成AIを使って制作した映画を海外の映画祭(AI INTERNATIONAL FILM FESTIVAL)に応募し最優秀学生映画賞を受賞、最終的には「AI画像生成に基づいた夢の具現化の探究」をしていきたいという。個人がAIで映像制作が可能になることは、芸術表現のみならず、日常にも大きな変化をもたらすかもしれない。

肖雲鵬は中国の大学で日本語を専攻し、映画全般が好きだったために独学で映像編集者になり、北京で映像プロデューサーとしてMVやドキュメンタリー、短編映画などを手がけてきた。

コロナ禍で映画産業が落ち込み、撮影もできなくなったタイミングで、以前からチームラボなどのメディアアートがおもしろいと思っていた日本に留学にやって来た。

日本語学校で一年半学び、学校に通う以外の時間では写真家として活動する。ドキュメンタリーのスナップショットやポートレートを撮って展示活動を行っていた彼は、中国人留学生の先輩がAI生成画像の研究をしていたことをきっかけに、のちに指導教官となる東京大学大学院・渡邉英徳教授の存在を知り、研究生になった。研究者になることが目的ではない。中国にいた頃から、アーティストとして画像や動画生成AIに関心があったからだ。

肖は生成AIツールを使って48時間・72時間で映画を作る2つのイベント(動画生成AIのプラットフォームRunway主催の「Gen:48 - 2nd Edition」と、「ElevenLabs + Pika 72-hr FilmFAST」)に参加し、2編の短編映画を作った。ストーリーボードを書くところまでは人力で行い、以降の動画を生成、編集、劇伴や効果音などの音楽はAIツールを用いて制作を進めた。

「画像生成AIのMidjourneyは『どの人物がどこにいる』といった言語入力に対する認識能力が高いため、まずMidjourneyを使って画像を生成し、それを別の動画生成のツールRunway MLやPika Labs,、Elven Labs、Sunoに入力して動画を出力しました」(肖雲鵬)

AIツールには様々な制限がある。その制限の枠の中で、作りたいものをいかに作るのか。ここが難しいところだ。

「AI動画は画面を引いたり寄ったり、どんなカメラを使うのかといった部分では、既にいろいろなことができます。一方でカメラのフォーカスの調整は苦手で、ピントがぼやけた画像になってしまうときがある。また、人間の動作を自然に表現するのも苦手です。つまり今はアクション映画は生成AIを使っても基本的には撮れない。正確に言うと作ることは不可能ではないのですが、撮影スタジオにグリーンバックで生身の人間が動作する様子を撮ったあとで、それを生成AIに入力して背景を合成している。それではほとんど従来のVFXの流れと同じですよね。だから私はそうではなく、映画の素材となるもののすべてを画像生成AIと動画生成AI、音楽生成AIで作った。ほとんどすべての行程を生成AIによって制作したんです。動きの少ないスティール、ショットを組み合わせることで、現状のAIでも破綻なく、印象的な作品を作れたと思っています」