Prototype Learning for Micro-gesture Classification

要約

このペーパーでは、IJCAI 2024 の MiGA チャレンジにおけるマイクロ ジェスチャ分類のトラック用に私たちのチームが開発したソリューション、HFUT-VUT を簡単に紹介します。マイクロ ジェスチャ分類タスクのタスクには、特定のビデオのカテゴリを認識することが含まれます。
クリップは、一般的な動作認識タスクと比較して、よりきめ細かく微妙な体の動きに焦点を当てています。
クラス内の大きな変動性と最小限のクラス間の違いを含むマイクロジェスチャ認識の固有の複雑さを考慮して、クロスモーダル融合モジュールとプロトタイプ改良モジュールという 2 つの革新的なモジュールを利用して、MG の識別能力を向上させます。
特徴を利用して分類精度を向上させます。
私たちのソリューションは大きな成功を収め、マイクロジェスチャ分類のトラックで 1 位にランクされました。
昨年の上位チームのパフォーマンスを大幅に上回り、トップ 1 精度が 6.13% 向上しました。

要約(オリジナル)

In this paper, we briefly introduce the solution developed by our team, HFUT-VUT, for the track of Micro-gesture Classification in the MiGA challenge at IJCAI 2024. The task of micro-gesture classification task involves recognizing the category of a given video clip, which focuses on more fine-grained and subtle body movements compared to typical action recognition tasks. Given the inherent complexity of micro-gesture recognition, which includes large intra-class variability and minimal inter-class differences, we utilize two innovative modules, i.e., the cross-modal fusion module and prototypical refinement module, to improve the discriminative ability of MG features, thereby improving the classification accuracy. Our solution achieved significant success, ranking 1st in the track of Micro-gesture Classification. We surpassed the performance of last year’s leading team by a substantial margin, improving Top-1 accuracy by 6.13%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google