Hierachical Delta-Attention Method for Multimodal Fusion

要約

視覚と言語学;
主な入力モダリティは、顔の表情、発話パターン、および発話された言葉です。
表現の 1 つのモード (ビジュアル、口頭、またはボーカル) の分析に関する問題は、多くのコンテキスト情報が失われる可能性があることです。
これにより、研究者は複数のモダリティを調べて、クロスモーダルの依存関係と状況の時間的コンテキストを完全に理解し、式を分析するよう求められます。
この作業は、さまざまなモダリティ内およびさまざまなモダリティ間での長期的な依存関係を維持しようと試みます。これは、再帰型ネットワークの使用によってボトルネックになり、さまざまな人々の特異性を捉えるために、モダリティごとの局所的な違いに焦点を当てるデルタアテンションの概念を追加します。
.
すべてのローカルなニュアンスとグローバルなコンテキストを融合するために、これらのデルタセルフアテンデッドモダリティを通じて表現される感情のグローバルビューを取得するクロスアテンション フュージョン テクニックを探求します。
注意の追加は、マルチモーダル フュージョン分野では新しく、どの段階で注意メカニズムを使用する必要があるかについて現在精査されています。
パラメータの数がほぼ半分のアート。

要約(オリジナル)

In vision and linguistics; the main input modalities are facial expressions, speech patterns, and the words uttered. The issue with analysis of any one mode of expression (Visual, Verbal or Vocal) is that lot of contextual information can get lost. This asks researchers to inspect multiple modalities to get a thorough understanding of the cross-modal dependencies and temporal context of the situation to analyze the expression. This work attempts at preserving the long-range dependencies within and across different modalities, which would be bottle-necked by the use of recurrent networks and adds the concept of delta-attention to focus on local differences per modality to capture the idiosyncrasy of different people. We explore a cross-attention fusion technique to get the global view of the emotion expressed through these delta-self-attended modalities, in order to fuse all the local nuances and global context together. The addition of attention is new to the multi-modal fusion field and currently being scrutinized for on what stage the attention mechanism should be used, this work achieves competitive accuracy for overall and per-class classification which is close to the current state-of-the-art with almost half number of parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google