MITの研究者が画像にパターンをコピペできるAIツール、「GANpaint 」を発表！

YamadaYoji

4年前

MITの研究者は、深層生成モデルのGANを利用してパンターンをコピペする技術を開発した。同技術を利用すれば、たとえば画像の中の馬に帽子を被らせることができる。

また、同技術を利用した画像編集ツール「GANpaint 」が公開されていて、ユーザーは城など建物が写った画像中に、木やドアなどを自由に追加可能だ。

ルールのセットを編集できる

たくさんの画像データからの学習をもとに新たな画像を生み出すことが得意なGANだが、研究者の発表した技術では、学習済みのネットワークに含まれるルールのセットを再利用している。

ニューラルネットワークには、学習したルールのセットを保持するメモリバンクがあり、これをコードのように編集することで、実際にはない構図の画像を生成できるという。

たとえば、窓の画像でトレーニングすると、モデルは周りへの光の反射…といった物理特性が及ぼす影響も一緒に学習し、生成画像に反映する。研究者はこうしたルールのセットをコピペできることを示した。

GANpaint を触ってみると、空への雲の追加はもちろん、実際には起こり得ない木の追加なども可能なのがわかる。こうしたパターンの追加は、数クリックで行うことができて、リセットすれば追加オブジェクト周りへの効果も含めて取り除かれる。

研究者はさまざまなオブジェクトに対応するニューラルネットワークの特定と編集を試みたが、すべてにおいてこれが可能なわけではなかったとのこと。

同技術の登場で、編集対象が限定されるとはいえ、AI画像生成のアプローチに新たな選択肢が追加されそうだ。