On Uni-Modal Feature Learning in Supervised Multi-Modal Learning

要約

タイトル：監視型マルチモーダル学習における単一モード特徴学習について

要約：

– 多様な入力データの特徴（すなわち、学習された表現）を、1）単一モードトレーニングから学習できる単一モード特徴、と2）異なるモーダル間の相互作用からのみ学習できるペア特徴に抽象化する。
– 監視型マルチモーダルレイトフュージョントレーニングアプローチは、単一モード機能の十分な学習不足に苦しんでいるため、クロスモーダル相互作用の恩恵を期待されるが、一方で必要な単一モード特徴学習のためにもそれが必要である。
– この現象はモデルの汎化能力に悪影響を及ぼすことを証明した。
– そのため、単一モード評価法（UME）と提案された単一モード講師（UMT）の両方から、単一モードとペア特徴の分布に応じて、与えられた監視型マルチモーダルタスクに対してターゲットレイトフュージョン学習方法を選択するように提案された。
– 単純なガイド戦略の下で、VGG-Sound、Kinetics-400、UCF101、ModelNet40を含む様々なマルチモーダルデータセットで他の複雑なレイトフュージョン法や中間フュージョン法に比較可能な結果を達成できることを示した。

要約(オリジナル)

We abstract the features (i.e. learned representations) of multi-modal data into 1) uni-modal features, which can be learned from uni-modal training, and 2) paired features, which can only be learned from cross-modal interactions. Multi-modal models are expected to benefit from cross-modal interactions on the basis of ensuring uni-modal feature learning. However, recent supervised multi-modal late-fusion training approaches still suffer from insufficient learning of uni-modal features on each modality. We prove that this phenomenon does hurt the model’s generalization ability. To this end, we propose to choose a targeted late-fusion learning method for the given supervised multi-modal task from Uni-Modal Ensemble(UME) and the proposed Uni-Modal Teacher(UMT), according to the distribution of uni-modal and paired features. We demonstrate that, under a simple guiding strategy, we can achieve comparable results to other complex late-fusion or intermediate-fusion methods on various multi-modal datasets, including VGG-Sound, Kinetics-400, UCF101, and ModelNet40.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI