High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning

要約

現実世界の問題の多くは、人間がコミュニケーションに使用する話し言葉、ジェスチャー、パラ言語から、ロボットの強制、固有受容、視覚センサーに至るまで、本質的にマルチモーダルです。
マルチモーダル学習への関心が爆発的に高まっていますが、これらの方法は、主に言語、視覚、音声における少数のモダリティに焦点を当てています。
多様かつ十分に研究されていないモダリティへの一般化を加速するために、この論文では、多様なモダリティの大規模なセットが関与する高度なモダリティのシナリオに対する効率的な表現学習を研究します。
新しいモダリティごとに新しいモデルを追加すると法外なコストがかかるため、重要な技術的課題は異質性の定量化です。以前のモダリティとのパラメータ共有を可能にするために、どのモダリティが同様の情報や相互作用をエンコードしているかをどのように測定できるでしょうか?
この論文では、異質性を定量化するための 2 つの新しい情報理論的指標を提案します。(1) モダリティ異質性は、X1 から X2 にどれだけの情報を転送できるかを測定することによって、2 つのモダリティ {X1,X2} がどの程度類似しているかを研究します。(2) 相互作用異質性は、どれだけ類似しているかを研究します。
モダリティのペア {X1,X2}、{X3,X4} は、融合 {X1,X2} から {X3,X4} にどれだけの情報を転送できるかを測定することによって相互作用します。
我々は、独自の情報や相互作用を含むモダリティの融合に自動的に優先順位を付ける方法として、提案されたこれら 2 つの指標の重要性を示します。
その結果、最大 10 のモダリティ (テキスト、画像、オーディオ、ビデオ、センサー、固有受容、音声、時系列、セット、テーブル) と 5 つの研究領域からの 15 のタスクまでスケールできる単一モデル HighMMT が誕生しました。
HighMMT は、パフォーマンスと効率のトレードオフにおいて従来の方法より優れているだけでなく、重要なスケーリング動作も示しています。モダリティが追加されるたびにパフォーマンスが向上し続け、微調整中にまったく新しいモダリティとタスクに移行します。

要約(オリジナル)

Many real-world problems are inherently multimodal, from spoken language, gestures, and paralinguistics humans use to communicate, to force, proprioception, and visual sensors on robots. While there has been an explosion of interest in multimodal learning, these methods are focused on a small set of modalities primarily in language, vision, and audio. In order to accelerate generalization towards diverse and understudied modalities, this paper studies efficient representation learning for high-modality scenarios involving a large set of diverse modalities. Since adding new models for every new modality becomes prohibitively expensive, a critical technical challenge is heterogeneity quantification: how can we measure which modalities encode similar information and interactions in order to permit parameter sharing with previous modalities? This paper proposes two new information theoretic metrics for heterogeneity quantification: (1) modality heterogeneity studies how similar 2 modalities {X1,X2} are by measuring how much information can be transferred from X1 to X2, while (2) interaction heterogeneity studies how similarly pairs of modalities {X1,X2}, {X3,X4} interact by measuring how much information can be transferred from fusing {X1,X2} to {X3,X4}. We show the importance of these 2 proposed metrics as a way to automatically prioritize the fusion of modalities that contain unique information or interactions. The result is a single model, HighMMT, that scales up to 10 modalities (text, image, audio, video, sensors, proprioception, speech, time-series, sets, and tables) and 15 tasks from 5 research areas. Not only does HighMMT outperform prior methods on the tradeoff between performance and efficiency, it also demonstrates a crucial scaling behavior: performance continues to improve with each modality added, and it transfers to entirely new modalities and tasks during fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google