MSA-GCN:Multiscale Adaptive Graph Convolution Network for Gait Emotion Recognition

要約

歩行感情認識は、知的システムにおいて重要な役割を果たします。
既存の方法のほとんどは、時間の経過とともに局所的な行動に焦点を当てることによって感情を認識します。
しかし、彼らは、時間領域における異なる感情の有効距離が異なり、歩行中の局所的な行動が非常に似ていることを無視しています。
したがって、感情は、間接的なローカル アクションではなく、グローバルな状態で表す必要があります。
これらの問題に対処するために、動的な時間的受容野を構築し、感情を認識するためのマルチスケール情報集約を設計することにより、この作業で新しいマルチスケール適応グラフ畳み込みネットワーク (MSA-GCN) が提示されます。
私たちのモデルでは、適応選択的時空間グラフ畳み込みは、畳み込みカーネルを動的に選択して、さまざまな感情の柔らかい時空間特徴を取得するように設計されています。
さらに、クロススケール マッピング フュージョン メカニズム (CSFM) は、適応隣接行列を構築して情報の相互作用を強化し、冗長性を削減するように設計されています。
以前の最先端の方法と比較して、提案された方法は 2 つの公開データセットで最高のパフォーマンスを達成し、mAP を 2\% 改善します。
また、当社の方法におけるさまざまなコンポーネントの有効性を示すために、広範なアブレーション研究も実施しています。

要約(オリジナル)

Gait emotion recognition plays a crucial role in the intelligent system. Most of the existing methods recognize emotions by focusing on local actions over time. However, they ignore that the effective distances of different emotions in the time domain are different, and the local actions during walking are quite similar. Thus, emotions should be represented by global states instead of indirect local actions. To address these issues, a novel Multi Scale Adaptive Graph Convolution Network (MSA-GCN) is presented in this work through constructing dynamic temporal receptive fields and designing multiscale information aggregation to recognize emotions. In our model, a adaptive selective spatial-temporal graph convolution is designed to select the convolution kernel dynamically to obtain the soft spatio-temporal features of different emotions. Moreover, a Cross-Scale mapping Fusion Mechanism (CSFM) is designed to construct an adaptive adjacency matrix to enhance information interaction and reduce redundancy. Compared with previous state-of-the-art methods, the proposed method achieves the best performance on two public datasets, improving the mAP by 2\%. We also conduct extensive ablations studies to show the effectiveness of different components in our methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google