アップルが開発者に最新iPhoneのカメラで使えるML合成技術「Deep Fusion」を提供

次の記事

Spotifyにポッドキャストのプレイリストを作る新機能が登場

米国時間10月1日、Apple(アップル)は新しいiPhoneのカメラでDeep Fusionのベータ版を使えるようにした。これはiOSのアップデートとして提供される。Deep Fusionは複数画像をピクセルごとに合成して画質をアップするテクノロジーで、従来のHDRよりも高度な処理だ。特に、皮膚、衣服、植生のような複雑な対象の描写で威力を発揮するという。

今回のリリースはデベロッパー向けベータ版で、iPhone 11のカメラでは広角レンズが、 iPhone 11 ProとPro Maxでは広角に加えて望遠レンズがサポートされる。ただし超広角はサポートされない。

Appleによれば、Deep Fusion処理にはA13 Bionicプロセッサーが必要とのこと。つまり上記以外の旧モデルではこの機能は利用できない。

iPhone 11 Proのレビューでも詳しく説明してきたが、新しいiPhoneは写真の撮影にあたってソフトと専用ハードの両面から機械学習を積極的に利用している。

iPhone 7でAppleは写真の画質を改善するために広角レンズと望遠レンズから得られる情報を合成し始めた。このプロセスはユーザーの介入を必要とせずバックグラウンドで自動的に行われた。Deep FusionはこうしたAppleの写真哲学をさらに一歩先に進める素晴らしいテクノロジーだ。

E020289B A902 47A8 A2AD F6B31B16BEC8

Deep Fusionは一定のシチュエーションで自動的に起動して画質を改善する

光源の状態によって異なるが、広角側での撮影ではナイトモードが使われる10ルクス以下の暗い状況では自動的に起動する。望遠側では常時起動しているが、極めて明るい撮影状況ではスマートHDRに切り替わる。ハイライトの光量が非常に大きい場合にはこちらのほうが有効だという。

AppleはDeep Fusionを利用した撮影サンプルを多数発表しているのでそれらを記事にエンベッドした。Deep Fusionが実際に使えるようになったので、利用した場合と利用しない場合を比較した写真もアップされるようになるだろう。

Appleによれば、Deep Fusionの仕組みは概ね以下のようなことだという。

カメラは段階的にEV(光量)値を変えるブラケット撮影を行う。最初はEV値をマイナスに振り、シャッター速度が速い暗めの映像を撮影する。ソフトウェアはここから鮮明さを得る。次に適正EV値で3枚撮影し、最後にシャッター速度を遅くしEV値をプラスにしたショットを撮影する。これらの映像を合成して2枚の画像を得る。

ここで生成された1200万画素の写真2枚をさらに2400万画素の写真1枚に合成する。最後の合成を行う際には4つの独立のニューラルネットワークが用いられ、iPhoneの撮像素子のノイズ特性や撮影対象が何であるかが考慮される。

合成処理はピクセル単位で実行される。機械学習モデルが撮影された画像の周波数スペクトルを含めた情報を把握して、最良の画質を得るための合成方法を決める。空などは画像周波数スペクトルが高く、人間の皮膚の画像周波数スペクトルは中位、衣服や植生などの画像周波数スペクトルは低位だ。こうした画像各部の特質を把握してDeep Fusinシステムは全体の構成を決定し、最良の結果が得られるようピクセルを選ぶ。

Appleによれば、こうした処理によって皮膚の質感や衣服のディテール、動く対象のエッジの鮮明さなどが改善されるという。

現在のベータ版では、Deep Fusionのオン、オフを切り替える方法はないが、超広角はDeep Fusionをサポートしていないため、これを利用してDeep Fusionの「あり」と「なし」を比較するテクニックがあるもようだ。

Deep Fusionは実行に1秒程度必要とする。ユーザーが撮影後すぐにタップしてプレビューを見ようとした場合、画像が現れるのを0.5秒ほど待つ場合があるかもしれない。しかしこの程度であればほとんどのユーザーはバックグラウンドでDeep Fusion処理が行われていることに気づかないだろう。

まずは実際に使ってみたいところだ。我々はDeep Fusionが利用できるようになり次第テストを行い、結果を報告するつもりだ。

原文へ

(翻訳:滑川海彦@Facebook