![](/img/media/664e502c3057a.jpg)
お絵描きタイムラプス風の動画が生成できるAI「Paints-UNDO」登場
lllyasviel氏が新しいAIモデル「Paints-UNDO」をGitHubに公開した。このモデルは、入力したイラストの制作過程を動画で予想して再現する。
Paints-UNDOはデジタルペイントソフトの「元に戻す」機能をAIで再現したツールであり、完成したデジタルアートから制作過程の動画を生成する。
AIモデルは2つの部分から成り立ち、人間の描画プロセスを模倣する。将来的な応用例として、AIにペン入れや着彩を任せ、人間が修正を加える作業フローが実現する可能性もある。
![お絵描きタイムラプス風の動画が生成できるAI「Paints-UNDO」登場](/img/article/20240710/668e1b7730370.jpg)
AI研究者のlllyasviel氏は7月9日、イラストを入力すると、そのイラストの制作過程を動画で予想して再現するAIモデル「Paints-UNDO」を同氏のGitHubレポジトリーにて公開した。
著名な生成AI研究者のlllyasviel(イリヤスフィール)氏が7月9日、入力したイラストの制作過程を動画で予想して再現するAIモデル「Paints-UNDO」を同氏のGitHubレポジトリーにて公開した。
タイムラプス風動画を生成
Paints-UNDOは、デジタルペイントソフトの「元に戻す」(Undo)機能をAIで再現したようなツールと説明されている。
完成したデジタルアートをPaints-UNDOに入力として与えると、白紙の状態から完成までの過程を動画として生成する。つまり人間の描画プロセスをAIが模倣しているように見えるわけだ。
とはいえ実際に人間が描いているわけではなく、あくまでAIが途中経過を推論しているだけなので、コマ送りで見てみるとまったく連続していないことがわかる。あくまでタイムラプス「風」の動画が作成できるというレベルだ。
現在プログラムはGitHubで公開されており、誰でも自由にダウンロードして試すことができる。また、デモページには多数の動画サンプルが公開されている。
2つのAIモデルがそれぞれ原画と動画を担当
Paints-UNDOは、「Single-frame model」と「Multi-frame model」という2つのAIモデルで構成されている。
画像を与えると、まずはSingle-frame modelが「人間が1000回の作業でこのイラストを完成させる」という仮定の上で各段階の画像を生成する。
その後、Multi-frame modelが生成された作業段階間の詳細な過程を補完する。
アニメーションでたとえると、Single-frame modelが「原画」を生成し、Multi-frame modelが原画と原画の間を補完する「動画」を生成、動画として出力するという形だ。
Paints-UNDOは、Stable Diffusionなどの画像生成AIでキャラクターのポージング補助などを可能にする「ControlNet」や、照明を自在に操作できる「IC-Light(Imposing Consistent Light)」を開発したことでも有名な画像生成AI関連の著名な開発者、lllyasviel氏によって個人で開発された。
技術の実用的な応用例はまだ具体的に示されていないが、将来は人間がラフスケッチを描き、AIに「アンドゥー」「リドゥー」をさせることで、ペン入れや着彩を任せ、必要に応じて人間が修正を加えるといった作業フローが実現するかもしれない。
文● ASCII