Gated-ViGAT: Efficient Bottom-Up Event Recognition and Explanation Using a New Frame Selection Policy and Gating Mechanism

要約

この論文では、ボトムアップ（オブジェクト）情報、新しいフレームサンプリングポリシー、およびゲーティングメカニズムを利用した、ビデオイベント認識の効率的なアプローチであるGated-ViGATが提案されています。
具体的には、フレーム サンプリング ポリシーは、Graph Attention Network (GAT) の隣接行列から導出された加重イン次数 (WiD) と非類似度測定を使用して、ビデオ内のイベントを表す最も顕著で同時に多様なフレームを選択します。
.
さらに、提案されたゲーティングメカニズムは、選択されたフレームを順番にフェッチし、十分に信頼できる決定が達成されたときに早期終了をコミットします。
このようにして、ボトムアップの情報抽出を担当するネットワークの計算コストの高いブランチによって処理されるフレームはわずかです。
公開されている 2 つの大規模なビデオ データセット (MiniKinetics、ActivityNet) での実験的評価は、Gated-ViGAT が、優れたイベント認識と説明可能性のパフォーマンスを維持しながら、以前のアプローチ (ViGAT) と比較して計算の複雑さを大幅に削減することを示しています。
Gated-ViGAT のソース コードは、https://github.com/bmezaris/Gated-ViGAT で公開されています。

要約(オリジナル)

In this paper, Gated-ViGAT, an efficient approach for video event recognition, utilizing bottom-up (object) information, a new frame sampling policy and a gating mechanism is proposed. Specifically, the frame sampling policy uses weighted in-degrees (WiDs), derived from the adjacency matrices of graph attention networks (GATs), and a dissimilarity measure to select the most salient and at the same time diverse frames representing the event in the video. Additionally, the proposed gating mechanism fetches the selected frames sequentially, and commits early-exiting when an adequately confident decision is achieved. In this way, only a few frames are processed by the computationally expensive branch of our network that is responsible for the bottom-up information extraction. The experimental evaluation on two large, publicly available video datasets (MiniKinetics, ActivityNet) demonstrates that Gated-ViGAT provides a large computational complexity reduction in comparison to our previous approach (ViGAT), while maintaining the excellent event recognition and explainability performance. Gated-ViGAT source code is made publicly available at https://github.com/bmezaris/Gated-ViGAT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google