Event-Driven Dynamic Scene Depth Completion

要約

ダイナミックシーンの深さの完了は、RGB画像やLIDAR測定などの入力モダリティの品質を大幅に低下させることができる、急速なエゴモーションとオブジェクトの動きのために大きな課題をもたらします。
従来のRGB-Dセンサーは、しばしば正確に整列し、そのような条件下で信頼できる深さをキャプチャするのに苦労しています。
対照的に、ピクセルレベルでの運動に対する高い時間分解能と感度を持つイベントカメラは、動的環境で特に有益な補完的なキューを提供します。この目的に、最初のイベント駆動型深度完了フレームワークであるEventDCを提案します。
イベント調整アライメント（EMA）とローカル深度フィルタリング（LDF）の2つの重要なコンポーネントで構成されています。
両方のモジュールは、畳み込み操作の2つの基本的なコンポーネントを適応的に学習します。オフセットと動きに敏感なイベントストリームに条件付けられています。
エンコーダでは、EMAはイベントを活用してRGB-D機能のサンプリング位置を変調して、アライメントと融合を改善するためのピクセル再分布を実現します。
デコーダーでは、LDFは、イベントからモーション認識マスクを学習することにより、移動するオブジェクトを中心に深さの推定を改善します。
さらに、EventDCには2つの損失条件が組み込まれて、グローバルなアライメントにさらに利益をもたらし、ローカル深度回復を強化します。
さらに、将来の研究を促進するために、1つの現実世界と2つの合成データセットを含むイベントベースの深度完了の最初のベンチマークを確立します。
このベンチマークでの広範な実験は、私たちのEventDCの優位性を示しています。

要約(オリジナル)

Depth completion in dynamic scenes poses significant challenges due to rapid ego-motion and object motion, which can severely degrade the quality of input modalities such as RGB images and LiDAR measurements. Conventional RGB-D sensors often struggle to align precisely and capture reliable depth under such conditions. In contrast, event cameras with their high temporal resolution and sensitivity to motion at the pixel level provide complementary cues that are %particularly beneficial in dynamic environments.To this end, we propose EventDC, the first event-driven depth completion framework. It consists of two key components: Event-Modulated Alignment (EMA) and Local Depth Filtering (LDF). Both modules adaptively learn the two fundamental components of convolution operations: offsets and weights conditioned on motion-sensitive event streams. In the encoder, EMA leverages events to modulate the sampling positions of RGB-D features to achieve pixel redistribution for improved alignment and fusion. In the decoder, LDF refines depth estimations around moving objects by learning motion-aware masks from events. Additionally, EventDC incorporates two loss terms to further benefit global alignment and enhance local depth recovery. Moreover, we establish the first benchmark for event-based depth completion comprising one real-world and two synthetic datasets to facilitate future research. Extensive experiments on this benchmark demonstrate the superiority of our EventDC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google