EventFly: Event Camera Perception from Ground to the Sky

要約

イベントベースの密集した知覚におけるクロスプラットフォーム適応は、車両、ドローン、四足類などの多様な設定にイベントカメラを展開するために重要です。
この作業では、イベントカメラの知覚における堅牢なクロスプラットフォーム適応のフレームワークであるEventFlyを紹介します。
私たちのアプローチは、3つの重要なコンポーネントで構成されています。i）イベントアクティベーションPriot（EAP）は、ターゲットドメインの高活性化領域を識別して予測エントロピーを最小限に抑え、自信を持ってドメイン適応予測を促進します。
ii）EventBlend、EAP駆動型の類似性と密度マップに基づいて、ソースとターゲットのイベントボクセルグリッドを統合するデータミックス戦略で、特徴アライメントを強化します。
およびiii）イベントマッチ、ソース、ターゲット、およびブレンドドメインから機能を整列させるデュアルディスクリミネーター手法で、ドメインに不変の学習を改善します。
クロスプラットフォームの適応能力を総合的に評価するために、車両、ドローン、および四足動物を介して多様なサンプルを備えた大規模なベンチマークであるExpoを紹介します。
広範な実験は当社の有効性を検証し、一般的な適応方法よりも大きな利益を示しています。
この作品が、多様で複雑な環境で、より適応的で高性能なイベントの認識への道を開くことができることを願っています。

要約(オリジナル)

Cross-platform adaptation in event-based dense perception is crucial for deploying event cameras across diverse settings, such as vehicles, drones, and quadrupeds, each with unique motion dynamics, viewpoints, and class distributions. In this work, we introduce EventFly, a framework for robust cross-platform adaptation in event camera perception. Our approach comprises three key components: i) Event Activation Prior (EAP), which identifies high-activation regions in the target domain to minimize prediction entropy, fostering confident, domain-adaptive predictions; ii) EventBlend, a data-mixing strategy that integrates source and target event voxel grids based on EAP-driven similarity and density maps, enhancing feature alignment; and iii) EventMatch, a dual-discriminator technique that aligns features from source, target, and blended domains for better domain-invariant learning. To holistically assess cross-platform adaptation abilities, we introduce EXPo, a large-scale benchmark with diverse samples across vehicle, drone, and quadruped platforms. Extensive experiments validate our effectiveness, demonstrating substantial gains over popular adaptation methods. We hope this work can pave the way for more adaptive, high-performing event perception across diverse and complex environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google