The Modality Focusing Hypothesis: Towards Understanding Crossmodal Knowledge Distillation

要約

クロスモーダル知識蒸留 (KD) は、従来の知識蒸留をマルチモーダル学習の領域に拡張し、さまざまなアプリケーションで大きな成功を収めています。
モダリティ間の知識伝達を実現するために、あるモダリティからの事前トレーニング済みネットワークが教師として採用され、別のモダリティから学習する学生ネットワークに監督信号を提供します。
以前の研究で報告された経験的な成功とは対照的に、クロスモーダル KD の動作メカニズムは謎のままです。
このホワイト ペーパーでは、クロスモーダル KD の完全な理解を提示します。
2 つのケース スタディから始めて、クロスモーダルな知識伝達において KD が普遍的な治療法ではないことを示します。
次に、モダリティ関係を理解するためのモダリティ ベン図と、クロスモーダル KD の有効性の決定的な要因を明らかにするモダリティ フォーカシング仮説を提示します。
6 つのマルチモーダル データセットに関する実験結果は、仮説を正当化し、失敗例を診断し、将来のクロスモーダル知識伝達を改善するための方向性を示すのに役立ちます。

要約(オリジナル)

Crossmodal knowledge distillation (KD) extends traditional knowledge distillation to the area of multimodal learning and demonstrates great success in various applications. To achieve knowledge transfer across modalities, a pretrained network from one modality is adopted as the teacher to provide supervision signals to a student network learning from another modality. In contrast to the empirical success reported in prior works, the working mechanism of crossmodal KD remains a mystery. In this paper, we present a thorough understanding of crossmodal KD. We begin with two case studies and demonstrate that KD is not a universal cure in crossmodal knowledge transfer. We then present the modality Venn diagram to understand modality relationships and the modality focusing hypothesis revealing the decisive factor in the efficacy of crossmodal KD. Experimental results on 6 multimodal datasets help justify our hypothesis, diagnose failure cases, and point directions to improve crossmodal knowledge transfer in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google