Towards preserving word order importance through Forced Invalidation

要約

【タイトル】強制無効化による単語順序の重要性の維持への取り組み

【要約】
– BERTなどの大規模事前学習言語モデルは、自然言語理解（NLU）タスクのフレームワークとして広く利用されている。
– しかし、最近の研究により、事前学習された言語モデルは単語順序に鈍感であることが判明した。
– 文の単語をランダムに並べ替えても、重要な構文情報が破壊されるにも関わらず、NLUタスクのパフォーマンスに変化がない。
– 単語順序の重要性を維持するために、FI（Forced Invalidation）と呼ばれる単純なアプローチを提案する：モデルにランダムに並び替えたセットを無効なサンプルとして識別させること。
– BERTベースのモデルや、単語埋め込みを用いたアテンションベースのモデルを用いて、様々な英語のNLUやQAタスクで我々のアプローチを広範に評価する。
– 実験の結果、FIによって、モデルの単語順序への感度が著しく向上することが示された。

要約(オリジナル)

Large pre-trained language models such as BERT have been widely used as a framework for natural language understanding (NLU) tasks. However, recent findings have revealed that pre-trained language models are insensitive to word order. The performance on NLU tasks remains unchanged even after randomly permuting the word of a sentence, where crucial syntactic information is destroyed. To help preserve the importance of word order, we propose a simple approach called Forced Invalidation (FI): forcing the model to identify permuted sequences as invalid samples. We perform an extensive evaluation of our approach on various English NLU and QA based tasks over BERT-based and attention-based models over word embeddings. Our experiments demonstrate that Forced Invalidation significantly improves the sensitivity of the models to word order.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI