LiDAR-Event Stereo Fusion with Hallucinations

要約

イベント ステレオ マッチングは、ニューロモーフィック カメラから深度を推定するための新しい技術です。
ただし、動きがなかったり、テクスチャリングされていない大きな領域が存在したりすると、イベントがトリガーされる可能性は低く、対応の問題が非常に困難になります。
目的として、ステレオ イベント カメラを固定周波数のアクティブ センサー (LiDAR など) と統合して、まばらな深度測定値を収集し、前述の制限を克服することを提案します。
このような深さのヒントは、スタックまたは生の入力ストリームを幻覚させる、つまり架空のイベントを挿入することで使用され、明るさの変化がない場合の情報不足を補います。
私たちの技術は汎用的で、あらゆる構造化表現に適応してイベントをスタックし、イベントベースのステレオに適用される最先端の融合手法を上回るパフォーマンスを発揮できます。

要約(オリジナル)

Event stereo matching is an emerging technique to estimate depth from neuromorphic cameras; however, events are unlikely to trigger in the absence of motion or the presence of large, untextured regions, making the correspondence problem extremely challenging. Purposely, we propose integrating a stereo event camera with a fixed-frequency active sensor — e.g., a LiDAR — collecting sparse depth measurements, overcoming the aforementioned limitations. Such depth hints are used by hallucinating — i.e., inserting fictitious events — the stacks or raw input streams, compensating for the lack of information in the absence of brightness changes. Our techniques are general, can be adapted to any structured representation to stack events and outperform state-of-the-art fusion methods applied to event-based stereo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google