FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras

要約

コンピュテーションフォトグラフィには、ピクセル単位の高精度な深度情報が不可欠であるため、スマートフォンには飛行時間型深度センサー（ToF）と複数のカラーカメラによるマルチモーダルカメラシステムが搭載されています。しかし、ToFセンサーの低解像度や限られたアクティブ照明パワーにより、高精度の高解像度深度を生成することは依然として困難である。RGBステレオとToFの情報を融合することは、これらの課題を克服するための有望な方向性ですが、重要な問題が残っています。高品質の2D RGB画像を提供するために、メインカラーセンサのレンズを光学的に安定させるため、マルチモーダル画像センサ間の幾何学的関係が壊れて、フローティングレンズの姿勢が不明となる結果になっています。我々は、ToF深度推定と広角RGBカメラを活用し、単一のスナップショットから、安定化したメインRGBセンサーのカメラ外部、内部、歪みパラメータを推定できる、高密度2D/3Dマッチングに基づく自動校正技術を設計する。これにより、相関ボリュームを介してステレオキューとToFキューを融合させることができる。融合には、実世界のトレーニングデータセットを用いて、ニューラル再構成法により推定された深度監視を用いたディープラーニングを適用する。評価として、市販の高出力深度カメラを用いたテストデータセットを取得し、我々のアプローチが既存のベースラインよりも高い精度を達成することを示す。

要約(オリジナル)

High-accuracy per-pixel depth is vital for computational photography, so smartphones now have multimodal camera systems with time-of-flight (ToF) depth sensors and multiple color cameras. However, producing accurate high-resolution depth is still challenging due to the low resolution and limited active illumination power of ToF sensors. Fusing RGB stereo and ToF information is a promising direction to overcome these issues, but a key problem remains: to provide high-quality 2D RGB images, the main color sensor’s lens is optically stabilized, resulting in an unknown pose for the floating lens that breaks the geometric relationships between the multimodal image sensors. Leveraging ToF depth estimates and a wide-angle RGB camera, we design an automatic calibration technique based on dense 2D/3D matching that can estimate camera extrinsic, intrinsic, and distortion parameters of a stabilized main RGB sensor from a single snapshot. This lets us fuse stereo and ToF cues via a correlation volume. For fusion, we apply deep learning via a real-world training dataset with depth supervision estimated by a neural reconstruction method. For evaluation, we acquire a test dataset using a commercial high-power depth camera and show that our approach achieves higher accuracy than existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL