AUD-TGN: Advancing Action Unit Detection with Temporal Convolution and GPT-2 in Wild Audiovisual Contexts

要約

音声データと視覚データの両方の相乗効果を活用することは、特に自然環境において人間の感情や行動を理解するために不可欠です。
このようなマルチモーダルな情報を統合するための従来の方法はつまずくことが多く、顔のアクション ユニットの検出タスクにおいて理想的とは言えない結果につながります。
これらの欠点を克服するために、オーディオビジュアルマルチモーダルデータを利用する新しいアプローチを提案します。
この方法では、メル周波数ケプストラム係数 (MFCC) と Log-Mel スペクトログラム機能を事前トレーニング済みの VGGish ネットワークとともに活用することで、オーディオ特徴抽出を強化します。
さらに、この論文は、時間的関係をモデル化することによってモダリティ全体の融合特徴を適応的に捕捉し、マルチモーダル情報の高度なコンテキスト認識型融合のために事前訓練された GPT-2 モデルを活用します。
私たちの手法は、データの時間的および文脈上のニュアンスを理解することで AU 検出の精度を特に向上させ、複雑なシナリオの理解における大幅な進歩を示しています。
これらの発見は、時間的ダイナミクスと文脈解釈を統合する可能性を強調し、将来の研究努力への道を切り開きます。

要約(オリジナル)

Leveraging the synergy of both audio data and visual data is essential for understanding human emotions and behaviors, especially in in-the-wild setting. Traditional methods for integrating such multimodal information often stumble, leading to less-than-ideal outcomes in the task of facial action unit detection. To overcome these shortcomings, we propose a novel approach utilizing audio-visual multimodal data. This method enhances audio feature extraction by leveraging Mel Frequency Cepstral Coefficients (MFCC) and Log-Mel spectrogram features alongside a pre-trained VGGish network. Moreover, this paper adaptively captures fusion features across modalities by modeling the temporal relationships, and ultilizes a pre-trained GPT-2 model for sophisticated context-aware fusion of multimodal information. Our method notably improves the accuracy of AU detection by understanding the temporal and contextual nuances of the data, showcasing significant advancements in the comprehension of intricate scenarios. These findings underscore the potential of integrating temporal dynamics and contextual interpretation, paving the way for future research endeavors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google