Frequency-aware Event Cloud Network

要約

イベント カメラは、生物学にヒントを得たセンサーであり、驚異的な時間分解能でイベントを非同期に送信し、産業界と学術界の両方から大きな注目を集めています。
主流の手法ではフレーム表現とボクセル表現が好まれており、時間のかかる変換、かさばるモデルを導入し、きめの細かい時間情報を犠牲にしながらも、満足のいくパフォーマンスが得られます。
あるいは、点群表現は前述の弱点に対処する可能性を示していますが、極性情報が無視されており、そのモデルは長期的なイベントの特徴を抽象化する能力が限られています。
このペーパーでは、Event Cloud 表現を活用する FECNet という周波数認識ネットワークを提案します。
FECNet は、イベントベースのグループおよびサンプリング モジュールを革新することで、2S-1T-1P イベント クラウドを最大限に活用します。
Event Cloud からの長いシーケンス イベントに対応するために、FECNet はフーリエ変換による周波数領域での特徴抽出を採用しています。
このアプローチは、時空間特徴を効果的に抽象化しながら、乗算累積演算 (MAC) の爆発的な増加を実質的に抑制します。
私たちは、イベントベースの物体分類、動作認識、人間の姿勢推定タスクに関する広範な実験を実施し、その結果は FECNet の有効性と効率性を実証しました。

要約(オリジナル)

Event cameras are biologically inspired sensors that emit events asynchronously with remarkable temporal resolution, garnering significant attention from both industry and academia. Mainstream methods favor frame and voxel representations, which reach a satisfactory performance while introducing time-consuming transformation, bulky models, and sacrificing fine-grained temporal information. Alternatively, Point Cloud representation demonstrates promise in addressing the mentioned weaknesses, but it ignores the polarity information, and its models have limited proficiency in abstracting long-term events’ features. In this paper, we propose a frequency-aware network named FECNet that leverages Event Cloud representations. FECNet fully utilizes 2S-1T-1P Event Cloud by innovating the event-based Group and Sampling module. To accommodate the long sequence events from Event Cloud, FECNet embraces feature extraction in the frequency domain via the Fourier transform. This approach substantially extinguishes the explosion of Multiply Accumulate Operations (MACs) while effectively abstracting spatial-temporal features. We conducted extensive experiments on event-based object classification, action recognition, and human pose estimation tasks, and the results substantiate the effectiveness and efficiency of FECNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google