Towards Auditing Large Language Models: Improving Text-based Stereotype Detection

要約

大規模言語モデル (LLM) は最近大幅な進歩を遂げ、人工知能 (AI) 対応の人間向けアプリケーションで主流になりつつあります。
ただし、LLM は過去のデータから継承した典型的な出力を生成することが多く、社会的な偏見を増幅させ、倫理的な懸念を引き起こします。
この研究では、i) 性別、人種、職業、宗教のステレオタイプ テキストの 52,751 個のインスタンスを含むマルチグレイン ステレオタイプ データセット、および ii) 英語テキスト用の新しいステレオタイプ分類子を導入します。
新しいデータセットでトレーニングされた提案されたモデルを厳密にテストするために、いくつかの実験を計画します。
私たちの実験では、マルチクラス設定でモデルをトレーニングすると、1 対すべてのバイナリ設定よりも優れたパフォーマンスを発揮できることがわかりました。
さまざまな eXplainable AI ツールからの一貫した特徴重要度シグナルは、新しいモデルが関連するテキスト特徴を活用していることを示しています。
新しく作成したモデルを利用して、人気のある GPT ファミリーのモデルの常同的な動作を評価し、時間の経過に伴うバイアスの減少を観察します。
要約すると、私たちの研究は、LLM における固定観念のバイアスを監査および評価するための堅牢で実用的なフレームワークを確立します。

要約(オリジナル)

Large Language Models (LLM) have made significant advances in the recent past becoming more mainstream in Artificial Intelligence (AI) enabled human-facing applications. However, LLMs often generate stereotypical output inherited from historical data, amplifying societal biases and raising ethical concerns. This work introduces i) the Multi-Grain Stereotype Dataset, which includes 52,751 instances of gender, race, profession and religion stereotypic text and ii) a novel stereotype classifier for English text. We design several experiments to rigorously test the proposed model trained on the novel dataset. Our experiments show that training the model in a multi-class setting can outperform the one-vs-all binary counterpart. Consistent feature importance signals from different eXplainable AI tools demonstrate that the new model exploits relevant text features. We utilise the newly created model to assess the stereotypic behaviour of the popular GPT family of models and observe the reduction of bias over time. In summary, our work establishes a robust and practical framework for auditing and evaluating the stereotypic bias in LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google