How BERT Speaks Shakespearean English? Evaluating Historical Bias in Contextual Language Models

要約

この論文では、近世英語 (EME) および現代英語 (ME) に関するその適切性を測定することにより、BERT に基づく文脈言語モデルの歴史的偏りを分析するというアイデアを検討します。
予備実験では、60 個のマスクされた文 (20 個の EME 固有、20 個の ME 固有、20 個の汎用) と 3 つの異なるモデル (つまり、BERT Base、MacBERTh、英語 HLM) を使用して穴埋めテストを実行します。
次に、2 つの言語の種類間の 5 段階の双極性スケールに従ってモデルの予測を評価し、EME および ME の種類の英語に対する各モデルの適切性を測定するための加重スコアを導き出します。

要約(オリジナル)

In this paper, we explore the idea of analysing the historical bias of contextual language models based on BERT by measuring their adequacy with respect to Early Modern (EME) and Modern (ME) English. In our preliminary experiments, we perform fill-in-the-blank tests with 60 masked sentences (20 EME-specific, 20 ME-specific and 20 generic) and three different models (i.e., BERT Base, MacBERTh, English HLM). We then rate the model predictions according to a 5-point bipolar scale between the two language varieties and derive a weighted score to measure the adequacy of each model to EME and ME varieties of English.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google