NBIAS: A Natural Language Processing Framework for Bias Identification in Text

要約

テキスト データに偏りがあると、データを使用するときに偏った解釈や結果が生じる可能性があります。
こうした偏見は、固定観念、差別、その他の不当な扱いを永続させる可能性があります。
偏ったデータに基づいてトレーニングされたアルゴリズムは、特定のグループの人々に不釣り合いな影響を与える決定を下すことになる可能性があります。
したがって、データの公正かつ倫理的な使用を確保するには、これらのバイアスを検出して除去することが重要です。
この目的を達成するために、私たちはデータ、コーパス構築、モデル開発、評価層の 4 つの主要層で構成される包括的で堅牢なフレームワーク NBIAS を開発しました。
このデータセットは、ソーシャル メディア、ヘルスケア、求人ポータルなど、さまざまなドメインから多様なデータを収集して構築されています。
そのため、一意の名前付きエンティティ BIAS を通じてバイアス単語/フレーズを識別できるトランスフォーマー ベースのトークン分類モデルを適用しました。
評価手順では、モデルの有効性を評価するために定量的測定と定性的測定を組み合わせて組み込みます。
ベースラインと比較して 1% ～ 8% の精度向上を達成しています。
また、モデルの機能をしっかりと理解することもできます。
提案されたアプローチはさまざまなバイアスに適用でき、テキスト データの公正かつ倫理的な使用に貢献します。

要約(オリジナル)

Bias in textual data can lead to skewed interpretations and outcomes when the data is used. These biases could perpetuate stereotypes, discrimination, or other forms of unfair treatment. An algorithm trained on biased data may end up making decisions that disproportionately impact a certain group of people. Therefore, it is crucial to detect and remove these biases to ensure the fair and ethical use of data. To this end, we develop a comprehensive and robust framework NBIAS that consists of four main layers: data, corpus construction, model development and an evaluation layer. The dataset is constructed by collecting diverse data from various domains, including social media, healthcare, and job hiring portals. As such, we applied a transformer-based token classification model that is able to identify bias words/ phrases through a unique named entity BIAS. In the evaluation procedure, we incorporate a blend of quantitative and qualitative measures to gauge the effectiveness of our models. We achieve accuracy improvements ranging from 1% to 8% compared to baselines. We are also able to generate a robust understanding of the model functioning. The proposed approach is applicable to a variety of biases and contributes to the fair and ethical use of textual data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google