Logic Against Bias: Textual Entailment Mitigates Stereotypical Sentence Reasoning

要約

類似性に基づく学習目標により、事前トレーニング済みのセンテンス エンコーダーは、トレーニング コーパス内に存在する社会的偏見を反映したステレオタイプの仮定を内面化することがよくあります。
このホワイト ペーパーでは、事前トレーニング済みの次の文の予測や対照的な文の表現モデルなど、一般的な文の表現モデルに存在するさまざまなコミュニティに関するいくつかの種類のステレオタイプについて説明します。
このようなモデルを、さまざまなダウンストリーム言語理解タスクの言語ロジックを学習するテキスト含意モデルと比較します。
テキストの類似性に基づく強力な事前トレーニング済みモデルをテキスト含意学習と比較することにより、テキスト含意を使用した明示的な論理学習は、明示的なバイアス除去プロセスなしで、バイアスを大幅に削減し、社会的コミュニティの認識を改善できると結論付けています。

要約(オリジナル)

Due to their similarity-based learning objectives, pretrained sentence encoders often internalize stereotypical assumptions that reflect the social biases that exist within their training corpora. In this paper, we describe several kinds of stereotypes concerning different communities that are present in popular sentence representation models, including pretrained next sentence prediction and contrastive sentence representation models. We compare such models to textual entailment models that learn language logic for a variety of downstream language understanding tasks. By comparing strong pretrained models based on text similarity with textual entailment learning, we conclude that the explicit logic learning with textual entailment can significantly reduce bias and improve the recognition of social communities, without an explicit de-biasing process

arxiv情報

提供元, 利用サービス

arxiv.jp, Google