イラストのペン入れと色塗り、AI使えばわずか1分

日本のAIスタートアップ、ラディウス・ファイブが提供しているAI着彩サービス「copainter（コペインター）」に新たに導入された「ペン入れ」機能の性能がすばらしく高い。

　日本のAIスタートアップ、ラディウス・ファイブが提供しているAI着彩サービス「copainter（コペインター）」に新たに導入された「ペン入れ」機能の性能がすばらしく高いです。ラフ画などから線画を生成するという、これまで画像生成AIの「Stable Diffusion」で実現できていたことの延長線上にある機能なんですが、それをサービスとして品質高くまとめた感じです。UIがとにかくシンプルで、生成AIを知らない人でも迷うことなく利用できるわかりやすい作りになっていました。

※一部の配信先では画像や図表等が正確に表示されないことがあります。その場合はASCII.jpで配信中の記事をご確認ください

ペン入れと着彩が1分で終わる

　copainterの機能は、既存画像を線画化する「ペン入れ」と、指定に合わせて色をつける「着彩」の2つです。

　使用方法は、線画にしたい画像をドロップしたら、忠実度/線の太さ/入り抜きのパラメーターを調整して、ボタンを押すだけ。1分程度で線画が出ます。次は「着彩」。このときにも、塗りの参考になる画像を選択してボタンを押すだけ。落書きしたもので出るのかということを試してみました。筆者が描いた落書きが1分ほどでこうなります。

　どんな画像でも線画にできるため、3D画像などにも使えます。例えば、3DモデルのVRoidのサンプルモデルのスクリーンショットを使い、ペン入れをした後に、元のスクリーンショットを下塗り画像として指定すると、イラスト風に描き込みされた画像を作ることができます。

　筆者が開発しているゲーム「Exelio（エグゼリオ）」に登場する「謎のカエル」キャラクターでも試してみました。カエルとメカの要素を過剰に解釈してしまったようで、ペン入れ段階で生物的な雰囲気が減少し、メカ的な意匠が追加されています。その雰囲気は着彩でも引き継がれているので、元のイメージに近い画像にするにはいろいろと工夫が必要そうです。

　メール登録だけで月に10回まで無料で試せるということもあり、X上では様々な人が試したものが投稿されています。プロの方の下描きは、見事に着彩まで成功しています。

　中学生のころに描いた絵が「宝の山」になったと書いている人もいます。使われている生成AIモデルの特性で、目の形状が変わったりしているものもありますが、修正を前提とするなら、十分にプロ水準でも使い物になるという評価を得ている印象です。

copainterのAIさんにペン入れと着彩をまかせてみたよ！！！！すげえ！！！！ #copainterpic.twitter.com/Khi1cLuHSJ

― ねこたいようネロ🔅Vtuber (@nero_nekotaiyo) June 24, 2024

copainterやってみた。

わいの中学あたりの黒歴史をぶち込むテスト。

こんなに雑ラフでもいけるのすっごーい。

いろんな未来が見えたわ。言語化するのがもったいない。

やってない人、やるべきよ。 pic.twitter.com/FKEI3qemgh

― 餡是リカ（あんぜ りか） (@AnLica_chan) June 25, 2024

画像を分析する「タグ生成」のステップが入っていると考えられる

　copainterがやっていることは、画像生成AI「Stable Diffusion」を使ったimage2image（i2i）だと考えられます。i2iで画像を線画にする方法は、LoRA（追加学習機能）が本格的に普及してきた2023年の早い時期から存在していました。

　ただ、完全な線画にしたり、画風を元画像に近いものにすることが難しかったりと、コントロール面に課題を抱えていました。また、下絵のようなものをキレイに整えるといったことは簡単ではなかったんです。顔が変わってしまったり、よけいなものが色々と入ってきてしまったり。それがcopainterではかなり調整されていて、できるだけ元画像を活かすようにクセがない出力結果になるように調整されていて感心します。

　なお、copainterは「犬の画像を入れると破綻する」という噂がありました。なぜそのようなことが起こるのかは、技術情報が公開されていないので若干の推測が入りますが、生成手順を理解するとわかります。

　まず、画像を生成する前に、その画像を分析して何が描かれているかを判断する「タグ生成」のステップが入っていると考えられます。このタグ解析の方法はデータがオープン化されていて、画像生成用のアプリ「Stable Diffusion WebUI A1111」でも拡張機能として利用可能です。このタグ情報をプロンプトとして利用することで、生成画像時の精度が高まります。生成された画像から予期していなかった版権物が生成されたという報告は出ていないことから、版権物のタグは生成されないように調整されていると考えられます。

　破綻するケースですが、元となる画像にタグ付けを付けるタイミングで、「犬」と認識しつつ、「女性」と認識できず、プロンプトに人間が入らなかったような場合に起こります。ただ、筆者も同じような画像を作成して試してみましたが、タグ解析を突破するのはなかなか難しく、元画像のキャラの不透明度を30%にして初めて成功しました。同じ画像をA1111に入れてタグを解析させてみると、女性のキャラが存在することを認識できないことが確認できます。

　つまり、背景の色を意図的に薄くするなどして“犬”の要素を極端に強調するといった、まれなケースでないと難しいのだろうと考えられました。元画像が何を意図しているのかわかりにくい画像を読み込ませれば、適切なタグがつかなかったり、謎のカエルのケースのように、意図しているものとは違う画像になります。これは画像生成AIの特性でもあり、破綻を目指した利用を想定した設計になっていないので起きることです。

　ちなみに料金プランは月額680円のライトプランではで50回分チケットですが、全然足りません。

　画像生成AIを利用すると、1回でベストな画像が出ることは少なく、ちょっとずつパラメーター変えての試行錯誤をして、最も良い結果を探るのが普通です。さらに、着彩も同じように試すことになるので、1枚の優れた結果を出すために6枚ぐらいを使うことになります。ページ数のある漫画を描くといった目的で、本格的に使うには月額1980円の300回分チケットはすぐに必要になってくるでしょう。

2023年から進化してきた「コピー機LoRA」

　LoRAを下絵の線画化といった特定機能に絞って利用するという方法論は、2023年の夏に開発者の月須和・那々さんが発見した「コピー機LoRA学習法」による劇的な進歩がありました。

　一般的にはLoRAというと、20～50枚程度の似たような画像を学習させることで特定の絵柄を出せるようにする、追加学習方式のことを指します。しかし、コピー機LoRAの学習方法は異質です。まず、学習する画像を2枚に絞り、それぞれの1枚をLoRAとして1000回学習することで、極端な過学習を引き起こす2つのLoRAを作ります。そしてそれを1つのLoRAに結合すると、2枚の絵柄の違いが画像に反映されるという方法をとっています（※過学習＝オーバーフィッティングは、生成AIが学習したデータに過度に適合し、未知のデータに対する予測精度を低下させる現象）。

　例えば、同じ絵のカラー画像と白黒画像で「コピー機LoRA」を作成すれば、そのLoRAは画像を白黒化できる性質を持った特定機能LoRAになるというわけです。

　この方法が発見されたことで、特殊効果LoRAの開発が進みました。コピー機LoRAは学習時間が短いという利点もあります。従来式のLoRAの場合、NVIDIA RTX 4090環境でも、100回程度の学習に2～20時間かかりますが、コピー機LoRAは1000回のトレーニングでも枚数が少ないので30分程度で済みます。そもそも、特定機能を生み出すには、たくさんの枚数の学習画像を用意する必要がないというメリットもあります。

　月須和さんはこの技法を使い、様々な特殊機能LoRAの開発をしています。特に興味深いのが、画面の情報量をコントロールできる「Flat」。これをプラスにすると画面は平面な画像になり、マイナスにすると画面内への書き込みが増加します。copainterの着彩時にある「書き込み量」パラメーターは、Flatと類似のLoRAを使って制御していると考えられます。他にも、輪郭線を強調したり、目のサイズを変更したり、口の形を制御したり、全身を金色に変えたりと、20～30種類の様々な特殊効果LoRAを開発して、公開されています。

　コピー機LoRA学習法に関連して、とりにくさんが6月23日に発表したのが、「CoppyLora_webUI」（pixivFanboxで有償限定公開）。これはコピー機LoRA学習法を手軽に扱えるようにしたアプリです。このアプリを使うと、特殊機能LoRAや、その人の絵柄LoRAを手軽に作り出せます。ベースのモデル画像を加工したり、模写して学習させることで、そのLoRAに特定の性質を与えることができるのです。その人の絵のクセといったものも学習させることができるため、自分の画風を再現させるLoRAを生み出すこともできます。

いずれはお絵描きソフトやレタッチソフトに

　copainterは、コピー機LoRA学習法と同様の技術を使ってチューニングを施していったものと考えられます。線画を抽出する特殊機能LoRAと着彩用の特殊機能LoRAを開発して、さらに画像の白黒化やノイズを消すといった副次的な処理も追加され、品質の高いアウトプットを出せるサービスの実現しているのでしょう。

　copainterの開発者のまっくすさんはXで、もっとラフな絵でも、プロンプト入力と組み合わせることで出力可能にする機能を追加するとコメントしています。画像生成AIは、補足となるテキストプロンプトが追加されることで、より正確に対象物を描写してくれる確率が上がるため、効果は大きいものと考えられます。

ペン入れとは別で線画機能としてプロンプトありでもうちょいラフから生成できるような機能も追加予定です。個人的に一番これが役立つかも？

― まっくす (@minux302) June 24, 2024

　copainterは、人間がイラストを描く作業の補助手段として使いやすい、生成AI系のWebサービスとして登場しました。現在copainterは単機能ですが、多機能化を進めつつ、いずれはお絵かき系ソフトやレタッチ系ソフトに組み入れられていくのではないかと将来の発展を期待できます。

筆者紹介：新清士（しんきよし）

1970年生まれ。株式会社AI Frog Interactive代表。デジタルハリウッド大学大学院教授。慶應義塾大学商学部及び環境情報学部卒。ゲームジャーナリストとして活躍後、VRマルチプレイ剣戟アクションゲーム「ソード・オブ・ガルガンチュア」の開発を主導。現在は、新作のインディゲームの開発をしている。著書に『メタバースビジネス覇権戦争』（NHK出版新書）がある。

文● 新清士　編集●ASCII