Enhancing Next Active Object-based Egocentric Action Anticipation with Guided Attention

要約

一人称ビデオにおける短期アクション予測 (STA) は、次のアクティブなオブジェクトのインタラクションを理解し、将来のアクションを予測することを伴う難しいタスクです。
既存のアクション予測手法は主にビデオ クリップから抽出された特徴を利用することに焦点を当ててきましたが、オブジェクトとその相互作用の重要性が見落とされることがよくありました。
この目的を達成するために、我々は、オブジェクトとビデオクリップから抽出された時空間的特徴の間にガイド付き注意メカニズムを適用し、動きとコンテキスト情報を強化し、オブジェクト中心と動き中心の情報をさらにデコードして、問題に対処する新しいアプローチを提案します。
自己中心的なビデオにおけるSTAの問題。
私たちの手法である GANO (次のアクティブなオブジェクトに対するガイド付き注意) は、マルチモーダル、エンドツーエンド、単一トランスベースのネットワークです。
最大の自己中心的データセットで実行された実験結果は、GANO が、次のアクティブなオブジェクトのラベル、その境界ボックスの位置、対応する将来のアクション、およびオブジェクトに接触するまでの時間の予測において、既存の最先端の方法よりも優れていることを示しています。
。
アブレーション研究は、他の固定法と比較して、誘導された注意メカニズムの積極的な貢献を示しています。
さらに、関心領域の埋め込みを学習可能オブジェクトのトークンに追加するだけで、GANO の次のアクティブ オブジェクトの位置とクラス ラベルの予測結果を改善することができます。

要約(オリジナル)

Short-term action anticipation (STA) in first-person videos is a challenging task that involves understanding the next active object interactions and predicting future actions. Existing action anticipation methods have primarily focused on utilizing features extracted from video clips, but often overlooked the importance of objects and their interactions. To this end, we propose a novel approach that applies a guided attention mechanism between the objects, and the spatiotemporal features extracted from video clips, enhancing the motion and contextual information, and further decoding the object-centric and motion-centric information to address the problem of STA in egocentric videos. Our method, GANO (Guided Attention for Next active Objects) is a multi-modal, end-to-end, single transformer-based network. The experimental results performed on the largest egocentric dataset demonstrate that GANO outperforms the existing state-of-the-art methods for the prediction of the next active object label, its bounding box location, the corresponding future action, and the time to contact the object. The ablation study shows the positive contribution of the guided attention mechanism compared to other fusion methods. Moreover, it is possible to improve the next active object location and class label prediction results of GANO by just appending the learnable object tokens with the region of interest embeddings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google