Cross-Modal Semi-Dense 6-DoF Tracking of an Event Camera in Challenging Conditions

要約

ビジョンベースのローカリゼーションはコスト効率が高く、多くのインテリジェント モバイル プラットフォームにとって魅力的なソリューションです。
ただし、その精度と特に堅牢性は、低照度条件、照度の変化、および激しい動きによって依然として影響を受けます。
イベントベースのカメラは、HDR 条件で優れた性能を発揮し、高い時間分解能を備えた生物由来の視覚センサーであり、そのため、このような困難なシナリオで興味深い代替手段を提供します。
現在、純粋なイベントベースのソリューションではまだ満足のいくマッピング結果が得られていませんが、今回の研究は、代替センサーがマッピングに許可されている場合、純粋にイベントベースの追跡が実現可能であることを示しています。
この方法は、半密マップとイベントの幾何学的 3D-2D 位置合わせに依存しており、信頼性の高い正確なクロスモーダル追跡結果を実現します。
実際に関連するシナリオは、通常の画像ベースのビジュアル SLAM または Structure-from-Motion システムによって事前に作成された半密マップを使用した深度カメラサポートの追跡またはマップベースの位置特定によって提供されます。
従来のエッジベースの 3D-2D アライメントは、イベント ストリームから取得された署名付きタイムサーフェス マップ (STSM) を利用する、新しい極性認識レジストレーションによって拡張されます。
さらに、遮蔽されたポイントに対する新しいカリング戦略を導入します。
両方の変更により、トラッカーの速度が向上し、オクルージョンや視点の大きな変動に対するロバスト性が向上します。
このアプローチは、上記の困難な条件をカバーする多くの実際のデータセットで検証され、通常のカメラで実現される同様のソリューションと比較されます。

要約(オリジナル)

Vision-based localization is a cost-effective and thus attractive solution for many intelligent mobile platforms. However, its accuracy and especially robustness still suffer from low illumination conditions, illumination changes, and aggressive motion. Event-based cameras are bio-inspired visual sensors that perform well in HDR conditions and have high temporal resolution, and thus provide an interesting alternative in such challenging scenarios. While purely event-based solutions currently do not yet produce satisfying mapping results, the present work demonstrates the feasibility of purely event-based tracking if an alternative sensor is permitted for mapping. The method relies on geometric 3D-2D registration of semi-dense maps and events, and achieves highly reliable and accurate cross-modal tracking results. Practically relevant scenarios are given by depth camera-supported tracking or map-based localization with a semi-dense map prior created by a regular image-based visual SLAM or structure-from-motion system. Conventional edge-based 3D-2D alignment is extended by a novel polarity-aware registration that makes use of signed time-surface maps (STSM) obtained from event streams. We furthermore introduce a novel culling strategy for occluded points. Both modifications increase the speed of the tracker and its robustness against occlusions or large view-point variations. The approach is validated on many real datasets covering the above-mentioned challenging conditions, and compared against similar solutions realised with regular cameras.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google