MAGIC-TBR: Multiview Attention Fusion for Transformer-based Bodily Behavior Recognition in Group Settings

要約

身体行動言語は重要な社会的合図であり、その自動分析は人工知能システムの理解を高めるのに役立ちます。
さらに、行動言語の手がかりは、ソーシャル エージェント ベースのユーザー インタラクションに積極的に関与するために不可欠です。
頭と体の姿勢推定などのタスクに関してコンピュータ ビジョンが進歩したにもかかわらず、ジェスチャー、身づくろい、または手探りなどのより細かい動作の検出を検討する必要がまだあります。
この論文では、ビデオから抽出された特徴とそれに対応する離散コサイン変換係数を変換ベースのアプローチで組み合わせる、MAGIC-TBR と呼ばれる多視点注意融合手法を提案します。
実験は BBSI データセットで行われ、その結果は、提案された特徴とマルチビュー アテンションの融合の有効性を示しています。
コードはhttps://github.com/surbhimadan92/MAGIC-TBRから入手できます。

要約(オリジナル)

Bodily behavioral language is an important social cue, and its automated analysis helps in enhancing the understanding of artificial intelligence systems. Furthermore, behavioral language cues are essential for active engagement in social agent-based user interactions. Despite the progress made in computer vision for tasks like head and body pose estimation, there is still a need to explore the detection of finer behaviors such as gesturing, grooming, or fumbling. This paper proposes a multiview attention fusion method named MAGIC-TBR that combines features extracted from videos and their corresponding Discrete Cosine Transform coefficients via a transformer-based approach. The experiments are conducted on the BBSI dataset and the results demonstrate the effectiveness of the proposed feature fusion with multiview attention. The code is available at: https://github.com/surbhimadan92/MAGIC-TBR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google