On Uni-Modal Feature Learning in Supervised Multi-Modal Learning

要約

マルチモーダル データの特徴 (つまり、学習された表現) を、1) ユニモーダル トレーニングから学習できるユニモーダル特徴、および 2) クロスモーダル インタラクションからのみ学習できるペアの特徴に抽象化します。
マルチモーダル モデルは、ユニモーダルな特徴学習を保証することに基づいて、クロスモーダル インタラクションから恩恵を受けることが期待されます。
しかし、最近の教師付きマルチモーダル後期融合トレーニング アプローチでは、依然として各モダリティのユニモーダル特徴の学習が不十分であるという問題があります。
この現象がモデルの一般化能力に悪影響を与えることを証明します。
この目的のために、我々は、ユニモーダルの分布に従って、ユニモーダルアンサンブル(UME)と提案されたユニモーダル教師(UMT)から、与えられた教師ありマルチモーダルタスクに対してターゲットを絞った後期融合学習方法を選択することを提案します。
そしてペアになった機能。
私たちは、シンプルな指導戦略の下で、VGG-Sound、Kinetics-400、UCF101、ModelNet40 などのさまざまなマルチモーダル データセットに対して、他の複雑な後期融合法または中間融合法と同等の結果を達成できることを実証します。

要約(オリジナル)

We abstract the features (i.e. learned representations) of multi-modal data into 1) uni-modal features, which can be learned from uni-modal training, and 2) paired features, which can only be learned from cross-modal interactions. Multi-modal models are expected to benefit from cross-modal interactions on the basis of ensuring uni-modal feature learning. However, recent supervised multi-modal late-fusion training approaches still suffer from insufficient learning of uni-modal features on each modality. We prove that this phenomenon does hurt the model’s generalization ability. To this end, we propose to choose a targeted late-fusion learning method for the given supervised multi-modal task from Uni-Modal Ensemble(UME) and the proposed Uni-Modal Teacher(UMT), according to the distribution of uni-modal and paired features. We demonstrate that, under a simple guiding strategy, we can achieve comparable results to other complex late-fusion or intermediate-fusion methods on various multi-modal datasets, including VGG-Sound, Kinetics-400, UCF101, and ModelNet40.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google