A Study on Bias Detection and Classification in Natural Language Processing

要約

人間のバイアスが、自然言語処理を含むさまざまな分野のモデルやアルゴリズムのパフォーマンスに影響を与えることがわかっています。
近年、この現象の研究が注目を集めていますが、利用可能なリソースはまだ比較的不足しており、多くの場合、バイアスのさまざまな形態や発現に焦点が当てられています。
私たちの研究の目的は 2 つあります。1) 公開されているデータセットを収集し、それらをより適切に組み合わせてヘイトスピーチの検出と分類のタスクにおいてモデルを効果的にトレーニングする方法を決定します。
2) これらのデータセットの主な問題 (不足、リソースの偏り、非永続データへの依存など) を分析します。
私たちは実験の展開と並行してこれらの問題について議論し、さまざまなデータセットの組み合わせがモデルのパフォーマンスに大きな影響を与えることを示します。

要約(オリジナル)

Human biases have been shown to influence the performance of models and algorithms in various fields, including Natural Language Processing. While the study of this phenomenon is garnering focus in recent years, the available resources are still relatively scarce, often focusing on different forms or manifestations of biases. The aim of our work is twofold: 1) gather publicly-available datasets and determine how to better combine them to effectively train models in the task of hate speech detection and classification; 2) analyse the main issues with these datasets, such as scarcity, skewed resources, and reliance on non-persistent data. We discuss these issues in tandem with the development of our experiments, in which we show that the combinations of different datasets greatly impact the models’ performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google