Using Multiple Instance Learning to Build Multimodal Representations

要約

画像とテキストのマルチモーダル表現学習は、モダリティ間でデータを整列させ、画像分類、視覚的グラウンディング、クロスモーダル検索などの重要な医療アプリケーションを可能にします。
この作業では、マルチモーダル表現学習と複数インスタンス学習の間の接続を確立します。
この接続に基づいて、特殊なケースとして多くの既存のマルチモーダル表現学習アプローチを使用して、順列不変スコア関数を構築するための一般的なフレームワークを提案します。
さらに、このフレームワークを使用して、新しい対照的な学習アプローチを導き出し、この方法がいくつかのダウンストリーム タスクで最先端の結果を達成することを示します。

要約(オリジナル)

Image-text multimodal representation learning aligns data across modalities and enables important medical applications, e.g., image classification, visual grounding, and cross-modal retrieval. In this work, we establish a connection between multimodal representation learning and multiple instance learning. Based on this connection, we propose a generic framework for constructing permutation-invariant score functions with many existing multimodal representation learning approaches as special cases. Furthermore, we use the framework to derive a novel contrastive learning approach and demonstrate that our method achieves state-of-the-art results in several downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google