Inverting the Imaging Process by Learning an Implicit Camera Model

要約

タイトル：暗黙のカメラモデルを学習して画像処理を反転する

要約：

– 画像の信号を暗黙の座標ベースのニューラルネットワークで表現することは、従来の離散的な信号表現の効果的な代替手段として、コンピュータビジョンやグラフィックスでの人気が高まっています。
– 既存の暗黙のニューラル表現がシーンのみをモデル化するのに対し、この論文では、カメラの物理的な撮影プロセスを深層ニューラルネットワークで表現する新しい暗黙のカメラモデルを提案しています。
– この新しい暗黙のカメラモデルの力を示すために、2つの逆画像処理タスクである、全焦点写真の生成とHDR画像処理に適用します。
– 具体的には、カメラの撮影プロセスの絞りと露出をモデル化するために、暗黙のぼかしジェネレーターと暗黙のトーンマッパーを設計します。
– 暗黙のカメラモデルは、複数の焦点スタックおよび複数の露出ブラケット監視の下で暗黙のシーンモデルと共に学習されます。
– 多数のテスト画像および動画で我々の新しいモデルの効果を実証し、正確で視覚的に魅力的な全焦点およびハイダイナミックレンジ画像を生成します。
– 原則として、この新しい暗黙のニューラルカメラモデルは、他の多くの逆画像処理タスクにも利用可能な可能性があります。

要約(オリジナル)

Representing visual signals with implicit coordinate-based neural networks, as an effective replacement of the traditional discrete signal representation, has gained considerable popularity in computer vision and graphics. In contrast to existing implicit neural representations which focus on modelling the scene only, this paper proposes a novel implicit camera model which represents the physical imaging process of a camera as a deep neural network. We demonstrate the power of this new implicit camera model on two inverse imaging tasks: i) generating all-in-focus photos, and ii) HDR imaging. Specifically, we devise an implicit blur generator and an implicit tone mapper to model the aperture and exposure of the camera’s imaging process, respectively. Our implicit camera model is jointly learned together with implicit scene models under multi-focus stack and multi-exposure bracket supervision. We have demonstrated the effectiveness of our new model on a large number of test images and videos, producing accurate and visually appealing all-in-focus and high dynamic range images. In principle, our new implicit neural camera model has the potential to benefit a wide array of other inverse imaging tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI