要約
NLP におけるバイアスに関する現在の研究は、主に、特定の人口統計グループに対する (望ましくない、または否定的な) バイアスの特定に依存しています。
これにより、負のバイアスの認識と軽減が進み、対象となるグループについて明確な概念を持つことが必要ですが、それが常に実用的であるとは限りません。
この作業では、社会科学と心理学の文献に根ざした、より広い偏見の概念を推定します。
私たちは対人グループ関係 (IGR) を予測する方向に進みます – 発話における話者とターゲットの間の関係をモデル化します – アンカーとしてきめの細かい対人感情を使用します。
対人感情について注釈を付けた米国議会議員による英語のツイートのデータセットを構築してリリースします。
私たちの分析は、微妙な感情信号がさまざまなバイアスを示していることを示しています。
人間は、与えられた発話から IGR を特定する際に偶然よりも優れたパフォーマンスを発揮できますが、ニューラル モデルがはるかに優れたパフォーマンスを発揮することを示しています。
さらに、IGR と対人で知覚される感情の間の共有エンコーディングにより、両方のタスクでパフォーマンスが向上しました。
この論文のデータとコードは、https://github.com/venkatasg/interpersonal-bias で入手できます。
要約(オリジナル)
Current studies of bias in NLP rely mainly on identifying (unwanted or negative) bias towards a specific demographic group. While this has led to progress recognizing and mitigating negative bias, and having a clear notion of the targeted group is necessary, it is not always practical. In this work we extrapolate to a broader notion of bias, rooted in social science and psychology literature. We move towards predicting interpersonal group relationship (IGR) – modeling the relationship between the speaker and the target in an utterance – using fine-grained interpersonal emotions as an anchor. We build and release a dataset of English tweets by US Congress members annotated for interpersonal emotion — the first of its kind, and ‘found supervision’ for IGR labels; our analyses show that subtle emotional signals are indicative of different biases. While humans can perform better than chance at identifying IGR given an utterance, we show that neural models perform much better; furthermore, a shared encoding between IGR and interpersonal perceived emotion enabled performance gains in both tasks. Data and code for this paper are available at https://github.com/venkatasg/interpersonal-bias
arxiv情報
著者 | Venkata S Govindarajan,Katherine Atwell,Barea Sinno,Malihe Alikhani,David I. Beaver,Junyi Jessy Li |
発行日 | 2023-02-14 03:40:45+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google