In the Eye of Transformer: Global-Local Correlation for Egocentric Gaze Estimation

要約

本論文では、自己中心的な視線推定という困難な問題に対処するための、初の変換器ベースのモデルを提示する。我々は、グローバルなシーンコンテキストとローカルな視覚情報との間の接続が、自己中心的なビデオフレームから視線固定を局所化するために重要であることを観察する。また、グローバルトークンとローカルトークンの相関を明示的にモデル化する新しいグローバル-ローカル相関(GLC)モジュールを提案する。我々は、EGTEA Gaze+とEgo4Dという2つの自己中心的なビデオデータセットで我々のモデルを検証する。我々の詳細なアブレーション研究は、我々の手法の利点を実証している。さらに、本手法は従来の最先端技術を大きく上回るものである。また、グローバル-ローカル相関が、自己中心的な映像から視線定位を予測するための重要な表現であるという主張を裏付けるために、追加の可視化も行っています。詳細は、弊社ホームページ(https://bolinlai.github.io/GLC-EgoGazeEst)にてご覧いただけます。

要約(オリジナル)

In this paper, we present the first transformer-based model to address the challenging problem of egocentric gaze estimation. We observe that the connection between the global scene context and local visual information is vital for localizing the gaze fixation from egocentric video frames. To this end, we design the transformer encoder to embed the global context as one additional visual token and further propose a novel Global-Local Correlation (GLC) module to explicitly model the correlation of the global token and each local token. We validate our model on two egocentric video datasets – EGTEA Gaze+ and Ego4D. Our detailed ablation studies demonstrate the benefits of our method. In addition, our approach exceeds previous state-of-the-arts by a large margin. We also provide additional visualizations to support our claim that global-local correlation serves a key representation for predicting gaze fixation from egocentric videos. More details can be found in our website (https://bolinlai.github.io/GLC-EgoGazeEst).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL