Is BERT Blind? Exploring the Effect of Vision-and-Language Pretraining on Visual Language Understanding

要約

ほとんどの人間は視覚的な想像力を使って言語を理解し推論しますが、BERT などのモデルは、テキストのみの事前トレーニング中に獲得した知識を使用して言語を推論します。
この作業では、ビジョンと言語の事前トレーニングが、暗黙的な視覚的推論を含むテキストのみのタスクのパフォーマンスを向上させることができるかどうかを調査し、主にゼロショット プロービング メソッドに焦点を当てています。
テキスト エンコーダー モデルの視覚的推論能力を調べるための一連の視覚的言語理解 (VLU) タスクと、比較のためのさまざまな非視覚的自然言語理解 (NLU) タスクを提案します。
また、BERT などのモデルのマスク言語モデリング ヘッドなどの予測ヘッドを必要とせずに、CLIP などのモデルをテキストのみのタスクに適用するための、新しいゼロ ショット ナレッジ プローブ メソッドであるストループ プローブにも貢献しています。
SOTA のマルチモーダルにトレーニングされたテキスト エンコーダーは、VLU タスクではユニモーダルにトレーニングされたテキスト エンコーダーよりも優れているが、NLU タスクではパフォーマンスが劣っていることを示し、マルチモーダル モデルの NLU 機能に関する以前の混合結果に新しいコンテキストを提供します。
事前トレーニング中の画像への露出は、暗黙的な視覚的推論を必要とする言語のみのタスクに反映される固有の視覚的推論の知識を提供すると結論付けています。
私たちの調査結果は、マルチモーダル学習のより広いコンテキストで重要であり、そのようなコンテキストで使用されるテキスト エンコーダーの選択に関する原則的なガイドラインを提供します。

要約(オリジナル)

Most humans use visual imagination to understand and reason about language, but models such as BERT reason about language using knowledge acquired during text-only pretraining. In this work, we investigate whether vision-and-language pretraining can improve performance on text-only tasks that involve implicit visual reasoning, focusing primarily on zero-shot probing methods. We propose a suite of visual language understanding (VLU) tasks for probing the visual reasoning abilities of text encoder models, as well as various non-visual natural language understanding (NLU) tasks for comparison. We also contribute a novel zero-shot knowledge probing method, Stroop probing, for applying models such as CLIP to text-only tasks without needing a prediction head such as the masked language modelling head of models like BERT. We show that SOTA multimodally trained text encoders outperform unimodally trained text encoders on the VLU tasks while being underperformed by them on the NLU tasks, lending new context to previously mixed results regarding the NLU capabilities of multimodal models. We conclude that exposure to images during pretraining affords inherent visual reasoning knowledge that is reflected in language-only tasks that require implicit visual reasoning. Our findings bear importance in the broader context of multimodal learning, providing principled guidelines for the choice of text encoders used in such contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google