Analyzing Semantic Faithfulness of Language Models via Input Intervention on Question Answering

要約

Transformer ベースの言語モデルは、いくつかの NLP タスクに対して非常に効果的であることが示されています。
この論文では、BERT、RoBERTa、XLNet の 3 つの変換モデルを小規模バージョンと大規模バージョンの両方で検討し、テキストの意味内容に関してそれらの表現がどの程度忠実であるかを調査します。
私たちは、テキストの意味的内容が質問応答におけるモデルの推論に因果的に反映されるべきであるという意味的忠実性の概念を形式化します。
次に、削除介入と否定介入という 2 つの新しい意味論的介入を実行した後、ストーリーに関する質問に答えるモデルの動作を観察することで、この概念をテストします。
トランスフォーマー モデルは標準的な質問応答タスクでは高いパフォーマンスを達成しますが、これらの介入をかなりの数のケースに対して実行すると、意味的に忠実ではないことがわかります (削除介入では最大 50%、否定介入では最大 20% の精度の低下)。
）。
次に、削除介入による望ましくない影響を大幅に (約 50% から約 6%) 軽減できる介入ベースのトレーニング計画を提案します。
私たちは、削除介入のための介入ベースのトレーニングの有効性をよりよく理解するために、モデルの内部動作を分析します。
しかし、このトレーニングは、モデルが否定介入に対処できないことや、テキストの述語と引数の構造を捕捉できないことなど、意味論的不忠実さの他の側面を弱めないことを示します。
また、2 つの介入を処理し、述語と引数の構造をキャプチャする能力について、プロンプトを介して InstructGPT をテストします。
InstructGPT モデルは、述語と引数の構造タスクでは非常に高いパフォーマンスを達成しますが、削除と否定の介入には適切に応答できません。

要約(オリジナル)

Transformer-based language models have been shown to be highly effective for several NLP tasks. In this paper, we consider three transformer models, BERT, RoBERTa, and XLNet, in both small and large versions, and investigate how faithful their representations are with respect to the semantic content of texts. We formalize a notion of semantic faithfulness, in which the semantic content of a text should causally figure in a model’s inferences in question answering. We then test this notion by observing a model’s behavior on answering questions about a story after performing two novel semantic interventions: deletion intervention and negation intervention. While transformer models achieve high performance on standard question answering tasks, we show that they fail to be semantically faithful once we perform these interventions for a significant number of cases (~50% for deletion intervention, and ~20% drop in accuracy for negation intervention). We then propose an intervention-based training regime that can mitigate the undesirable effects for deletion intervention by a significant margin (from ~ 50% to ~6%). We analyze the inner-workings of the models to better understand the effectiveness of intervention-based training for deletion intervention. But we show that this training does not attenuate other aspects of semantic unfaithfulness such as the models’ inability to deal with negation intervention or to capture the predicate-argument structure of texts. We also test InstructGPT, via prompting, for its ability to handle the two interventions and to capture predicate-argument structure. While InstructGPT models do achieve very high performance on predicate-argument structure task, they fail to respond adequately to our deletion and negation interventions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google