Temporally Consistent Online Depth Estimation Using Point-Based Fusion

要約

タイトル：Point-Based Fusionを用いた時間的一貫性のあるオンライン深度推定

要約：
– 様々な計算機ビジョンの問題において、深度推定は重要なステップである。しかし、既存の多くの研究は単一フレームの深度推定に焦点を当てており、ビデオに適用すると、フリッカーや水泳のようなアーティファクトを持つ時間的一貫性に欠ける結果を示す。
– 本研究では、オンライン設定でビデオストリームの時間的一貫性のある深度マップを推定することを目的とする。未来のフレームが利用できず、以前の推定からの誤りの修正と時間的一貫性のどちらを選択するかという難題がある。また、動的なオブジェクトの存在が問題を複雑にしている。
– 本研究では、各フレームで動的に更新されるグローバルなポイントクラウドと、学習された画像空間内での融合手法を使用して、これらの課題に取り組むことを提案する。本手法は、一貫性を促進しながら、同時に誤りと動的なオブジェクトを処理するためのアップデートを許可する。
– 定量的な結果や定性的な結果が、本手法が、一貫性のあるビデオ深度推定において最先端の品質を実現していることを示している。

要約(オリジナル)

Depth estimation is an important step in many computer vision problems such as 3D reconstruction, novel view synthesis, and computational photography. Most existing work focuses on depth estimation from single frames. When applied to videos, the result lacks temporal consistency, showing flickering and swimming artifacts. In this paper we aim to estimate temporally consistent depth maps of video streams in an online setting. This is a difficult problem as future frames are not available and the method must choose between enforcing consistency and correcting errors from previous estimations. The presence of dynamic objects further complicates the problem. We propose to address these challenges by using a global point cloud that is dynamically updated each frame, along with a learned fusion approach in image space. Our approach encourages consistency while simultaneously allowing updates to handle errors and dynamic objects. Qualitative and quantitative results show that our method achieves state-of-the-art quality for consistent video depth estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI