Semantic-Aware Frame-Event Fusion based Pattern Recognition via Large Vision-Language Models

要約

RGB フレームとイベント ストリームの融合によるパターン認識は、近年新しい研究分野として浮上しています。
現在の方法は通常、バックボーン ネットワークを使用して RGB フレームとイベント ストリームの特徴を個別に抽出し、その後これらの特徴を融合してパターン認識を行います。
ただし、これらの方法にはセマティック ギャップや小規模バックボーン ネットワークなどの重要な問題が発生する可能性があると考えられます。
この研究では、事前トレーニングされた大規模視覚言語モデルを活用して、セマンティック ラベル、RGB フレーム、およびイベント ストリームを統合する新しいパターン認識フレームワークを紹介します。
具体的には、入力 RGB フレーム、イベント ストリーム、およびすべての事前定義されたセマンティック ラベルを考慮して、事前トレーニングされた大規模ビジョン モデル (CLIP ビジョン エンコーダー) を使用して、RGB およびイベントの特徴を抽出します。
意味ラベルを処理するには、まずプロンプトエンジニアリングによってラベルを言語記述に変換し、次に事前トレーニングされた大規模言語モデル（CLIPテキストエンコーダー）を使用して意味特徴を取得します。
次に、マルチモーダル Transformer ネットワークを使用して、RGB/イベント機能とセマンティック機能を統合します。
結果として得られるフレーム トークンとイベント トークンは、セルフ アテンション レイヤーを使用してさらに増幅されます。
同時に、クロスアテンションを介してテキストトークンとRGB/イベントトークン間の相互作用を強化することを提案します。
最後に、認識のために自己注意層とフィードフォワード層を使用して、3 つのモダリティすべてを統合します。
HARDVS および PokerEvent データセットに関する包括的な実験により、私たちが提案した SAFE モデルの有効性が完全に実証されました。
ソース コードは https://github.com/Event-AHU/SAFE_LargeVLM で公開されます。

要約(オリジナル)

Pattern recognition through the fusion of RGB frames and Event streams has emerged as a novel research area in recent years. Current methods typically employ backbone networks to individually extract the features of RGB frames and event streams, and subsequently fuse these features for pattern recognition. However, we posit that these methods may suffer from key issues like sematic gaps and small-scale backbone networks. In this study, we introduce a novel pattern recognition framework that consolidates the semantic labels, RGB frames, and event streams, leveraging pre-trained large-scale vision-language models. Specifically, given the input RGB frames, event streams, and all the predefined semantic labels, we employ a pre-trained large-scale vision model (CLIP vision encoder) to extract the RGB and event features. To handle the semantic labels, we initially convert them into language descriptions through prompt engineering, and then obtain the semantic features using the pre-trained large-scale language model (CLIP text encoder). Subsequently, we integrate the RGB/Event features and semantic features using multimodal Transformer networks. The resulting frame and event tokens are further amplified using self-attention layers. Concurrently, we propose to enhance the interactions between text tokens and RGB/Event tokens via cross-attention. Finally, we consolidate all three modalities using self-attention and feed-forward layers for recognition. Comprehensive experiments on the HARDVS and PokerEvent datasets fully substantiate the efficacy of our proposed SAFE model. The source code will be made available at https://github.com/Event-AHU/SAFE_LargeVLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google