Iterated Learning Improves Compositionality in Large Vision-Language Models

要約

人間の視覚と自然言語の両方に共通する基本的な特徴は、その構成的な性質です。
しかし、大規模な視覚と言語の事前トレーニングによってパフォーマンスが向上したにもかかわらず、最新の視覚言語モデルのすべてではないにしても、ほとんどが構成性に問題があることが最近の調査で判明しました。
彼らは、「黒い服を着た男性と対峙する白い服を着た少女」と「白い服を着た男性と対峙する黒の服を着た少女」の画像を区別することができません。
さらに、これまでの研究では、構成性は規模に応じて発生しないことが示唆されており、より大きなモデル サイズやトレーニング データは役に立ちません。
この論文では、構成性を奨励する新しい反復トレーニング アルゴリズムを開発します。
私たちは、文化の伝達、つまり新しい世代に教える必要性を、人間が構成言語を開発するよう促す必要な帰納的事前要素として特定する、数十年にわたる認知科学の研究を活用しています。
具体的には、視覚と言語の対照学習を視覚エージェントと言語エージェントの間のルイス・シグナリング・ゲームとして再構成し、トレーニング中にエージェントの重みの 1 つを繰り返しリセットすることで文化伝達を運用可能にします。
反復のたびに、このトレーニング パラダイムにより、合成言語の特性である「学習しやすくなる」表現が誘導されます。
CC3M と CC12M でトレーニングされたモデルは、標準 CLIP を 4.7%、SugarCrepe ベンチマークでは 4.0% 改善しました。

要約(オリジナル)

A fundamental characteristic common to both human vision and natural language is their compositional nature. Yet, despite the performance gains contributed by large vision and language pretraining, recent investigations find that most-if not all-our state-of-the-art vision-language models struggle at compositionality. They are unable to distinguish between images of ‘ a girl in white facing a man in black’ and ‘a girl in black facing a man in white’. Moreover, prior work suggests that compositionality doesn’t arise with scale: larger model sizes or training data don’t help. This paper develops a new iterated training algorithm that incentivizes compositionality. We draw on decades of cognitive science research that identifies cultural transmission-the need to teach a new generation-as a necessary inductive prior that incentivizes humans to develop compositional languages. Specifically, we reframe vision-language contrastive learning as the Lewis Signaling Game between a vision agent and a language agent, and operationalize cultural transmission by iteratively resetting one of the agent’s weights during training. After every iteration, this training paradigm induces representations that become ‘easier to learn’, a property of compositional languages: e.g. our model trained on CC3M and CC12M improves standard CLIP by 4.7%, 4.0% respectfully in the SugarCrepe benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google