Uncovering and Categorizing Social Biases in Text-to-SQL

要約

コンテンツに関する警告: この作品には、特定の社会的グループの個人にとって不快な可能性のある固定観念、連想、その他の危害を潜在的に示唆する例が含まれています。} 事前にトレーニングされた大規模な言語モデルは、さまざまな人口統計に対する社会的偏見を運ぶことが認められており、既存の社会的偏見をさらに増幅する可能性があります。
私たちの社会には固定観念があり、さらに多くの害を引き起こします。
Text-to-SQL は重要なタスクであり、そのモデルは主に行政業界で採用されており、不公平な決定が壊滅的な結果につながる可能性があります。
ただし、既存の Text-to-SQL モデルは、Spider や WikiSQL などのクリーンで中立的なデータセットでトレーニングされています。
これにより、理想的な条件下ではモデルの社会的バイアスがある程度隠蔽されますが、実際のアプリケーション シナリオではこのようなバイアスが現れる可能性があります。
この研究では、Text-to-SQL モデルにおける社会的偏見を明らかにし、分類することを目的としています。
Text-to-SQL モデルの構造化データで発生する可能性のある社会的バイアスのカテゴリをまとめます。
私たちはテスト ベンチマークを構築し、同様のタスク精度を持つモデルに、非常に異なる割合で社会的バイアスが含まれる可能性があることを明らかにしました。
私たちの方法論を利用して、下流の Text-to-SQL タスクにおける社会的偏見を明らかにして評価する方法を示します。
コードとデータを公開します。

要約(オリジナル)

Content Warning: This work contains examples that potentially implicate stereotypes, associations, and other harms that could be offensive to individuals in certain social groups.} Large pre-trained language models are acknowledged to carry social biases towards different demographics, which can further amplify existing stereotypes in our society and cause even more harm. Text-to-SQL is an important task, models of which are mainly adopted by administrative industries, where unfair decisions may lead to catastrophic consequences. However, existing Text-to-SQL models are trained on clean, neutral datasets, such as Spider and WikiSQL. This, to some extent, cover up social bias in models under ideal conditions, which nevertheless may emerge in real application scenarios. In this work, we aim to uncover and categorize social biases in Text-to-SQL models. We summarize the categories of social biases that may occur in structured data for Text-to-SQL models. We build test benchmarks and reveal that models with similar task accuracy can contain social biases at very different rates. We show how to take advantage of our methodology to uncover and assess social biases in the downstream Text-to-SQL task. We will release our code and data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google