ICYM2I: The illusion of multimodal informativeness under missingness

要約

マルチモーダル学習は、さまざまな種類のデータを組み合わせることによる潜在的な情報の獲得に動機付けられた人工知能ベースのアプリケーションに継続的に関心があります。
ただし、開発中に収集およびキュレーションされたモダリティは、コスト、ハードウェアの障害、またはこの作業で主張するように、特定のモダリティの認識された情報性など、複数の要因により展開時に利用可能なモダリティとは異なる場合があります。
Na {\ ‘I}は、欠落を考慮せずに追加のモダリティを含めることに関連する情報ゲインの推定を、下流タスクにおけるそのモダリティの価値の不適切な推定をもたらす可能性があります。
私たちの仕事は、マルチモーダル学習における欠落の問題を形式化し、このプロセスを無視することから生じるバイアスを示しています。
この問題に対処するために、ICYM2I（マルチモーダルが見逃した場合）を紹介します。これは、逆確率の重み付けベースの補正を通じて、予測パフォーマンスと情報の獲得の評価のためのフレームワークです。
合成、半合成、および実世界の医療データセットの欠落下での情報ゲインを推定するための提案された調整の重要性を実証します。

要約(オリジナル)

Multimodal learning is of continued interest in artificial intelligence-based applications, motivated by the potential information gain from combining different types of data. However, modalities collected and curated during development may differ from the modalities available at deployment due to multiple factors including cost, hardware failure, or — as we argue in this work — the perceived informativeness of a given modality. Na{\’i}ve estimation of the information gain associated with including an additional modality without accounting for missingness may result in improper estimates of that modality’s value in downstream tasks. Our work formalizes the problem of missingness in multimodal learning and demonstrates the biases resulting from ignoring this process. To address this issue, we introduce ICYM2I (In Case You Multimodal Missed It), a framework for the evaluation of predictive performance and information gain under missingness through inverse probability weighting-based correction. We demonstrate the importance of the proposed adjustment to estimate information gain under missingness on synthetic, semi-synthetic, and real-world medical datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google