ViGAT: Bottom-up event recognition and explanation in video using factorized graph attention network

要約

このホワイト ペーパーでは、ViGAT と呼ばれる純粋な注意のボトムアップ アプローチを使用します。これは、オブジェクト検出器をビジョン トランスフォーマー (ViT) バックボーン ネットワークと共に使用してオブジェクトとフレームの特徴を導き出し、ヘッド ネットワークを使用してこれらの特徴を処理し、イベントのタスクを処理します。
ビデオでの認識と説明が提案されています。
ViGAT ヘッドは、オブジェクトまたはフレーム間の局所的および長期的な依存関係の両方を効果的にキャプチャするために、空間次元および時間次元に沿って因数分解されたグラフ アテンション ネットワーク (GAT) ブロックで構成されます。
さらに、さまざまな GAT ブロックの隣接行列から導出された加重インディグリー (WiD) を使用して、提案されたアーキテクチャが、ネットワークの決定を説明する最も顕著なオブジェクトとフレームを識別できることを示します。
包括的な評価研究が行われ、提案されたアプローチが、公開されている 3 つの大規模なビデオ データセット (FCVID、Mini-Kinetics、ActivityNet) で最先端の結果を提供することが実証されています。

要約(オリジナル)

In this paper a pure-attention bottom-up approach, called ViGAT, that utilizes an object detector together with a Vision Transformer (ViT) backbone network to derive object and frame features, and a head network to process these features for the task of event recognition and explanation in video, is proposed. The ViGAT head consists of graph attention network (GAT) blocks factorized along the spatial and temporal dimensions in order to capture effectively both local and long-term dependencies between objects or frames. Moreover, using the weighted in-degrees (WiDs) derived from the adjacency matrices at the various GAT blocks, we show that the proposed architecture can identify the most salient objects and frames that explain the decision of the network. A comprehensive evaluation study is performed, demonstrating that the proposed approach provides state-of-the-art results on three large, publicly available video datasets (FCVID, Mini-Kinetics, ActivityNet).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google