Learning based Deep Disentangling Light Field Reconstruction and Disparity Estimation Application

要約

ライトフィールドカメラは、光の強度と方向を同時に記録できるため、幅広い用途に使用できます。
ライトフィールドの角度分解能は、深度推定などの下流タスクにとって重要ですが、ハードウェアの制限により改善が困難なことがよくあります。
従来の方法は、まばらなライト フィールドでの大きな不均衡という課題に対してうまく機能しない傾向にありますが、一般的な CNN は 4D ライト フィールドで結合された空間的特徴と角度的特徴を抽出することが困難です。
ライト フィールドのもつれ解除メカ​​ニズムは、4D ライト フィールドを 2D 画像形式に変換します。これは CNN にとって特徴抽出にとってより有利です。
本稿では、ライトフィールド解絡メカニズムの原理を継承し、特徴抽出器の設計をさらに発展させ、高度なネットワーク構造を追加した深解解メカニズムを提案します。
私たちは、深層解絡メカニズムに基づいてライトフィールド再構築ネットワーク（すなわち、DDASR）を設計し、実験でSOTAパフォーマンスを達成します。
さらに、実験では入力ビューが 2×2 を超えることが多いため、メモリ使用量が多くなり、メモリ使用量を削減しながら、より良い結果を得ることができる深度推定強化の実際的なアプリケーション向けに、ブロック トラバーサル角度超解像度戦略を設計します。
復興パフォーマンス。

要約(オリジナル)

Light field cameras have a wide range of uses due to their ability to simultaneously record light intensity and direction. The angular resolution of light fields is important for downstream tasks such as depth estimation, yet is often difficult to improve due to hardware limitations. Conventional methods tend to perform poorly against the challenge of large disparity in sparse light fields, while general CNNs have difficulty extracting spatial and angular features coupled together in 4D light fields. The light field disentangling mechanism transforms the 4D light field into 2D image format, which is more favorable for CNN for feature extraction. In this paper, we propose a Deep Disentangling Mechanism, which inherits the principle of the light field disentangling mechanism and further develops the design of the feature extractor and adds advanced network structure. We design a light-field reconstruction network (i.e., DDASR) on the basis of the Deep Disentangling Mechanism, and achieve SOTA performance in the experiments. In addition, we design a Block Traversal Angular Super-Resolution Strategy for the practical application of depth estimation enhancement where the input views is often higher than 2×2 in the experiments resulting in a high memory usage, which can reduce the memory usage while having a better reconstruction performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google