チューリッヒ工科大学

ディズニー・リサーチがニューラルネットワークを活用した顔交換技術を開発、高解像度映像を作成可能に

次の記事

AWSのAIによるコードレビューとパフォーマンスツールのCodeGuruが一般公開へ

ディズニー・リサーチがチューリッヒ工科大学(ETH Zurich)と共同で発表した新しい論文で、写真やビデオの顔を入れ替えるための完全に自動化されたニューラルネットワークベースの方法について述べられている。研究者によれば、それはメガピクセルレベルの高解像度で最終結果を生み出す手法としては初だという。現実世界の出来事だと視聴者を納得させるのに十分に高解像度な映像を作り出せるので、テレビや映画での使用に適しているかもしれない。

研究者はこの技術を使って、既存の俳優が演技している顔を置き換えることを考えている。例えば若返らせたり老化させたり、あるいは亡くなった俳優を描写したりするといった用途だ。彼らはまた、シーンによってはスタントマンの顔を置き換えることにも利用できるとも説明している。

この新しい方法は、さまざまな点で既存の手法とは異なっている。例えば記録されたパフォーマンス中の顔を自由に入れ替えることで、必要に応じて比較的簡単に俳優のイメージを入れ替えることができる。また、俳優が実際にシーンと同じ条件の場所にいたように、合成ステップでコントラストと光の条件を調整することができる。

成果は以下のビデオで確認できる。研究者が指摘しているように、静止画よりも動画のほうが、はるかに優れた結果を得られている。まだ「不気味な谷」の雰囲気が残っているものの、研究者たちはそれを認めたうえで、これを「不気味の谷にうまく橋をかけてくれる現実に近いフェイススワッピング(顔画像交換)への大きな一歩」だという。基本的に、これまでの手法よりも「悪夢度」ははるかに少ない。特に他の手法で生成された動画と並べて比較してみると、それははっきりする。最も注目すべき点は、それがはるかに高い解像度で動作するということだ。これは実際のエンターテインメント業界採用されるための鍵である。

提示されている例は非常に小さなサンプルに過ぎないので、これがどれだけ広く適用できるかはまだ不明だ。例えば使用されている被写体は主に白いように見える。また特にビデオの場合、フェイススワッピング技術の使用は倫理的影響があるという懸念が常につきまとう。これは、実際には起こらなかった何かに対する、ビデオまたは写真の「証拠」を捏造するために使用できるからだ。

とはいえ、こうした技術が今や多方面から開発されていることを考えると、技術の研究と探究の倫理に対して議論する段階は基本的に過ぎている。その代わりに、ディズニー・リサーチのような組織が学術的な道筋をたどり、彼らの仕事の結果を共有することは歓迎される。そうすることで、悪意のある使用の可能性を懸念しているほかの人たちが、悪意のある利用者にフラグを立て、特定し、対抗する方法を決定できるからだ。

画像クレジット:Disney Research

原文へ

(翻訳:sako)