Expand BERT Representation with Visual Information via Grounded Language Learning with Multimodal Partial Alignment

要約

言語モデルは、視覚に基づいた言語学習に関する既存の研究において、言語のみの客観的根拠と視覚に基づく基礎の両方で監視されてきました。
ただし、視覚に基づいたデータセットと言語コーパスの分布と規模の違いにより、言語モデルは、根拠のあるデータ内で発生したトークンのコンテキストとそうでないトークンのコンテキストを混同する傾向があります。
その結果、表現学習中に、視覚情報と文の文脈上の意味の間に不一致が生じます。
この制限を克服するために、視覚的に根拠のある情報で BERT 表現を強化する、根拠のある言語学習方法である GroundBERT を提案します。
GroundBERT は 2 つのコンポーネントで構成されます。(i) 言語コーパスから学習した単語の文脈表現をキャプチャするオリジナルの BERT、および (ii) 視覚に基づいたデータセットから学習した視覚情報をキャプチャするビジュアル グラウンディング モジュール。
さらに、我々は Optimal Transport (OT)、特にその部分的な変形を採用して、2 つのモダリティ間のフラクショナル アライメント問題を解決します。
私たちが提案した方法は、GLUE および SQuAD データセットのさまざまな言語タスクにおいてベースライン言語モデルを大幅に上回ります。

要約(オリジナル)

Language models have been supervised with both language-only objective and visual grounding in existing studies of visual-grounded language learning. However, due to differences in the distribution and scale of visual-grounded datasets and language corpora, the language model tends to mix up the context of the tokens that occurred in the grounded data with those that do not. As a result, during representation learning, there is a mismatch between the visual information and the contextual meaning of the sentence. To overcome this limitation, we propose GroundedBERT – a grounded language learning method that enhances the BERT representation with visually grounded information. GroundedBERT comprises two components: (i) the original BERT which captures the contextual representation of words learned from the language corpora, and (ii) a visual grounding module which captures visual information learned from visual-grounded datasets. Moreover, we employ Optimal Transport (OT), specifically its partial variant, to solve the fractional alignment problem between the two modalities. Our proposed method significantly outperforms the baseline language models on various language tasks of the GLUE and SQuAD datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google