DiFuse-Net: RGB and Dual-Pixel Depth Estimation using Window Bi-directional Parallax Attention and Cross-modal Transfer Learning

要約

深さの推定は、インテリジェントなシステムにとって重要であり、自律的なナビゲーションから拡張現実へのアプリケーションを可能にします。
従来のステレオおよびアクティブ深度センサーにはコスト、パワー、堅牢性が制限されていますが、最新のカメラでユビキタスなデュアルピクセル（DP）テクノロジーは、魅力的な代替品を提供します。
このペーパーでは、Disentangled RGBおよびDPベースの深度推定のための新しいモダリティ分離ネットワーク設計である拡散ネットを紹介します。
difuse-netは、小さな開口部を備えたスマートフォンカメラに固有の微妙なDP格差の手がかりをキャプチャするために特別に設計されたウィンドウ双方向視差注意メカニズム（WBIPAM）を備えています。
個別のエンコーダーは、RGB画像からコンテキスト情報を抽出し、これらの機能は深さ予測を強化するために融合します。
また、大規模なRGB-DP-Dデータセットの取得の制限に対処するために、文献で大規模なRGB-Dデータセットを利用するためのクロスモーダル転送学習（CMTL）メカニズムを提案します。
提案された方法の評価と比較は、DPおよびステレオベースのベースライン方法に対するその優位性を示しています。
さらに、新しい対称ステレオカメラハードウェアセットアップ、ステレオキャリブレーション、是正プロトコル、およびAIステレオ不一致の推定方法を使用して作成されたデュアルカメラデュアルピクセル（DCDP）データセットという名前の新しい、高品質の実世界のRGB-DP-Dトレーニングデータセットを提供します。

要約(オリジナル)

Depth estimation is crucial for intelligent systems, enabling applications from autonomous navigation to augmented reality. While traditional stereo and active depth sensors have limitations in cost, power, and robustness, dual-pixel (DP) technology, ubiquitous in modern cameras, offers a compelling alternative. This paper introduces DiFuse-Net, a novel modality decoupled network design for disentangled RGB and DP based depth estimation. DiFuse-Net features a window bi-directional parallax attention mechanism (WBiPAM) specifically designed to capture the subtle DP disparity cues unique to smartphone cameras with small aperture. A separate encoder extracts contextual information from the RGB image, and these features are fused to enhance depth prediction. We also propose a Cross-modal Transfer Learning (CmTL) mechanism to utilize large-scale RGB-D datasets in the literature to cope with the limitations of obtaining large-scale RGB-DP-D dataset. Our evaluation and comparison of the proposed method demonstrates its superiority over the DP and stereo-based baseline methods. Additionally, we contribute a new, high-quality, real-world RGB-DP-D training dataset, named Dual-Camera Dual-Pixel (DCDP) dataset, created using our novel symmetric stereo camera hardware setup, stereo calibration and rectification protocol, and AI stereo disparity estimation method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google