Depth on Demand: Streaming Dense Depth from a Low Frame Rate Active Sensor

要約

高いフレーム レートと正確な深度推定は、ロボット工学や自動車の認識に不可欠ないくつかのタスクで重要な役割を果たします。
これまでのところ、これは屋内および屋外アプリケーション用の ToF デバイスと LiDAR デバイスを通じてそれぞれ実現できます。
ただし、その適用可能性は、低フレーム レート、エネルギー消費、空間の希薄さによって制限されます。
深度オンデマンド (DoD) では、高フレーム レートの RGB センサーと、潜在的に低いフレーム レートおよびまばらなアクティブ深度センサーを組み合わせて利用することで、正確な時間的および空間的深度の高密度化が可能になります。
私たちの提案は、i) マルチモーダル エンコーディング、ii) 反復マルチモーダル統合、および iii) 深度デコーディングの 3 つのコア ステージのおかげで、深度センサーでのストリーミング要件を大幅に削減することにより、エネルギー消費の削減とより高密度な形状の再構築を共同で可能にします。
私たちは、屋内および屋外のビデオ データセットに対する国防総省の有効性を評価する拡張証拠を提示し、環境スキャンと自動車認識の両方のユースケースをカバーします。

要約(オリジナル)

High frame rate and accurate depth estimation plays an important role in several tasks crucial to robotics and automotive perception. To date, this can be achieved through ToF and LiDAR devices for indoor and outdoor applications, respectively. However, their applicability is limited by low frame rate, energy consumption, and spatial sparsity. Depth on Demand (DoD) allows for accurate temporal and spatial depth densification achieved by exploiting a high frame rate RGB sensor coupled with a potentially lower frame rate and sparse active depth sensor. Our proposal jointly enables lower energy consumption and denser shape reconstruction, by significantly reducing the streaming requirements on the depth sensor thanks to its three core stages: i) multi-modal encoding, ii) iterative multi-modal integration, and iii) depth decoding. We present extended evidence assessing the effectiveness of DoD on indoor and outdoor video datasets, covering both environment scanning and automotive perception use cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google