How Gender Interacts with Political Values: A Case Study on Czech BERT Models

要約

ほとんどの自然言語処理タスクで最先端の結果に達するニューラル言語モデルは、必然的に価値の高いコンテンツが含まれ、多くの場合、モデルに反映される望ましくないバイアスを捕捉する大規模なテキスト コーパスでトレーニングされます。
このケーススタディは、チェコ語の事前トレーニング済みエンコーダーの政治的偏見に焦点を当て、それらを代表値調査と比較します。
チェコ語はジェンダー言語であるため、文法の性別が調査の男性と女性の回答とどのように一致するかも測定します。
モデルの認識された政治的価値を測定するための新しい方法を紹介します。
モデルは価値主導の推論に従ってステートメントの確率を割り当てておらず、女性的な文と男性的な文の間に体系的な違いがないことがわかりました。
私たちは、BERT サイズのモデルは政治的価値観との体系的な一致を示しておらず、モデルで観察されたバイアスはむしろ、モデルにエンコードされた体系的な価値観というよりも、トレーニング データ パターンの表面的な模倣によるものであると結論付けています。

要約(オリジナル)

Neural language models, which reach state-of-the-art results on most natural language processing tasks, are trained on large text corpora that inevitably contain value-burdened content and often capture undesirable biases, which the models reflect. This case study focuses on the political biases of pre-trained encoders in Czech and compares them with a representative value survey. Because Czech is a gendered language, we also measure how the grammatical gender coincides with responses to men and women in the survey. We introduce a novel method for measuring the model’s perceived political values. We find that the models do not assign statement probability following value-driven reasoning, and there is no systematic difference between feminine and masculine sentences. We conclude that BERT-sized models do not manifest systematic alignment with political values and that the biases observed in the models are rather due to superficial imitation of training data patterns than systematic value beliefs encoded in the models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google