Neuro-Inspired Hierarchical Multimodal Learning

要約

現実世界の包括的かつ正確な認識を得るには、さまざまなソースやモダリティからの情報を統合して処理することが重要です。
神経科学からインスピレーションを得て、情報ボトルネックの概念を利用した情報理論的階層的知覚 (ITHP) モデルを開発しました。
すべてのモダリティを入力として組み込むことを目的としたほとんどの従来の融合モデルとは異なり、私たちのモデルは主要なモダリティを入力として指定し、残りのモダリティは情報経路の検出器として機能します。
私たちが提案する知覚モデルは、潜在状態と入力モーダル状態の間の相互情報の最小化と、潜在状態と残りのモーダル状態の間の相互情報の最大化の間のバランスを達成することにより、効果的でコンパクトな情報フローを構築することに焦点を当てています。
このアプローチにより、冗長性を最小限に抑えながら関連情報を保持するコンパクトな潜在状態表現が実現され、それによって下流タスクのパフォーマンスが大幅に向上します。
MUStARD データセットと CMU-MOSI データセットの両方に対する実験評価は、私たちのモデルがマルチモーダル学習シナリオで重要な情報を一貫して抽出し、最先端のベンチマークを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Integrating and processing information from various sources or modalities are critical for obtaining a comprehensive and accurate perception of the real world. Drawing inspiration from neuroscience, we develop the Information-Theoretic Hierarchical Perception (ITHP) model, which utilizes the concept of information bottleneck. Distinct from most traditional fusion models that aim to incorporate all modalities as input, our model designates the prime modality as input, while the remaining modalities act as detectors in the information pathway. Our proposed perception model focuses on constructing an effective and compact information flow by achieving a balance between the minimization of mutual information between the latent state and the input modal state, and the maximization of mutual information between the latent states and the remaining modal states. This approach leads to compact latent state representations that retain relevant information while minimizing redundancy, thereby substantially enhancing the performance of downstream tasks. Experimental evaluations on both the MUStARD and CMU-MOSI datasets demonstrate that our model consistently distills crucial information in multimodal learning scenarios, outperforming state-of-the-art benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google