AdobeのProject Sharp ShotsはAIで動画内のボケをデブラー処理で鮮明に

次の記事

Netflixが第3四半期の決算報告後に株価を下げた理由

Adobe(アドビ)は毎年MAXユーザーカンファレンスで、Creative Cloudアプリに搭載されるかもしれない、あるいは搭載されないかもしれない研究プロジェクトを発表している。近いうちに動画編集アプリに搭載されることが楽しみなのが新プロジェクトのProject Sharp Shotsで、米国時間10月20日のMAX Sneaksイベントで正式発表される。アドビのAIプラットフォームであるAdobe Senseiを利用したSharp Shotsは、AIを使って動画をデブラー(ブレ補正)化する研究プロジェクトだ。

プロジェクトに参加するアドビのエンジニア、Shubhi Gupta(シュビ・グプタ)氏によると、この機能では手ブレや動きの速いカメラのせいで動画がぼやけていても、1回のクリックで動画をデブラー処理できるという。彼女が披露したデモでは、ウクレレを弾いている動画のように比較的微妙な効果が得られることもあれば、下のバイクのように劇的な効果が得られることもある。

Project Sharp Shotsには、従来のようなパラメータによる調整はない。「これはワンクリックで動作しますが、魔法ではありません。単純なディープラーニングとAIがバックグラウンドで働き、各フレームを抽出してぼかしを加え、高品質なぼかしのかかった写真やビデオを生成するのです」。

画像クレジット:Adobe

グプタ氏によると、チームは既存の画像のブレ補正に関する研究に着目し、そのプロセスを動画用に適応し、メモリ使用量と速度を低下させるために最適化したという。

Adobe After Effectsにはすでにデブラーと手ブレ補正のための機能がありますが、それは独自の制限があり異なるアルゴリズムだ。

今回の新しいシステムは、アルゴリズムが前後の複数の関連フレームにアクセスできる場合に最もうまく機能し、ビデオ内の少数のフレームでもその機能を発揮する。

画像クレジット:Adobe

カテゴリー:ソフトウェア
タグ:Adobe、Creative Cloud

画像クレジット:Ayzenstayn / Getty Images, Adobe

原文へ

(翻訳:塚本直樹 / Twitter