Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework

要約

最近、マルチモーダル アプリケーションへの関心が爆発的に高まっているため、さまざまなモダリティからの情報を表現および統合するためのデータセットと手法が幅広く選択されるようになりました。
このような経験的な進歩にもかかわらず、研究に関する基本的な疑問が残っています。それは、マルチモーダルなタスクを解決するために必要な相互作用をどのように定量化できるのかということです。
続いて、これらの相互作用を捉えるのに最も適したマルチモーダル モデルは何でしょうか?
これらの質問に答えるために、入力モダリティと出力タスクに関連する冗長性、一意性、および相乗効果の程度を定量化する情報理論的アプローチを提案します。
これら 3 つの尺度を多峰性分布の PID 統計 (略して PID) と呼び、高次元の分布にスケールするこれらの PID 統計の 2 つの新しい推定器を導入します。
PID 推定を検証するために、PID が既知である合成データセットと、PID 推定が人間によるアノテーションと比較される大規模なマルチモーダル ベンチマークの両方で広範な実験を実施します。
最後に、(1) マルチモーダル データセット内の相互作用の定量化、(2) マルチモーダル モデルによってキャプチャされた相互作用の定量化、(3) モデル選択のための原則に基づいたアプローチ、および (4) 分野の専門家と協力した 3 つの現実世界のケース スタディにおけるそれらの有用性を実証します。
病理学、気分予測、ロボット認識などの分野で、当社のフレームワークは各アプリケーションに強力なマルチモーダル モデルを推奨するのに役立ちます。

要約(オリジナル)

The recent explosion of interest in multimodal applications has resulted in a wide selection of datasets and methods for representing and integrating information from different modalities. Despite these empirical advances, there remain fundamental research questions: How can we quantify the interactions that are necessary to solve a multimodal task? Subsequently, what are the most suitable multimodal models to capture these interactions? To answer these questions, we propose an information-theoretic approach to quantify the degree of redundancy, uniqueness, and synergy relating input modalities with an output task. We term these three measures as the PID statistics of a multimodal distribution (or PID for short), and introduce two new estimators for these PID statistics that scale to high-dimensional distributions. To validate PID estimation, we conduct extensive experiments on both synthetic datasets where the PID is known and on large-scale multimodal benchmarks where PID estimations are compared with human annotations. Finally, we demonstrate their usefulness in (1) quantifying interactions within multimodal datasets, (2) quantifying interactions captured by multimodal models, (3) principled approaches for model selection, and (4) three real-world case studies engaging with domain experts in pathology, mood prediction, and robotic perception where our framework helps to recommend strong multimodal models for each application.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google