Model and Evaluation: Towards Fairness in Multilingual Text Classification

要約

最近、テキスト分類モデルのバイアスに対処することに焦点を当てた研究がますます増えています。
しかし、既存の研究は主に単言語テキスト分類モデルの公平性に焦点を当てており、多言語テキスト分類の公平性に関する研究はまだ非常に限られています。
この論文では、多言語テキスト分類のタスクに焦点を当て、対照学習に基づく多言語テキスト分類のバイアス緩和フレームワークを提案します。
提案された方法は、外部言語リソースに依存せず、他の言語に拡張できます。
このモデルには、多言語テキスト表現モジュール、言語融合モジュール、テキストバイアス緩和モジュール、およびテキスト分類モジュールの 4 つのモジュールが含まれています。
多言語テキスト表現モジュールは、多言語の事前トレーニング済み言語モデルを使用してテキストを表現し、言語融合モジュールは、対照学習を通じて異なる言語の意味空間を一貫性のあるものにし、テキスト バイアス緩和モジュールは、対照学習を使用してモデルを不可能にします。
機密属性の情報を識別するため。
テキスト分類モジュールは、多言語テキスト分類の基本的なタスクを完了します。
さらに、多言語テキスト分類の公平性に関する既存の研究は、評価モードでは比較的単純です。
公平性の評価方法は、単一言語等価差評価法と同じ、つまり単一言語で評価を行います。
多言語テキスト分類のための多次元公平性評価フレームワークを提案します。このフレームワークは、モデルの単一言語同等性差、多言語同等性差、多言語同等性パフォーマンス差、および公平性戦略の破壊性を評価します。
私たちの仕事が、より一般的なバイアス緩和方法と、多言語テキストの公平性タスクのためのより包括的な評価フレームワークを提供できることを願っています。

要約(オリジナル)

Recently, more and more research has focused on addressing bias in text classification models. However, existing research mainly focuses on the fairness of monolingual text classification models, and research on fairness for multilingual text classification is still very limited. In this paper, we focus on the task of multilingual text classification and propose a debiasing framework for multilingual text classification based on contrastive learning. Our proposed method does not rely on any external language resources and can be extended to any other languages. The model contains four modules: multilingual text representation module, language fusion module, text debiasing module, and text classification module. The multilingual text representation module uses a multilingual pre-trained language model to represent the text, the language fusion module makes the semantic spaces of different languages tend to be consistent through contrastive learning, and the text debiasing module uses contrastive learning to make the model unable to identify sensitive attributes’ information. The text classification module completes the basic tasks of multilingual text classification. In addition, the existing research on the fairness of multilingual text classification is relatively simple in the evaluation mode. The evaluation method of fairness is the same as the monolingual equality difference evaluation method, that is, the evaluation is performed on a single language. We propose a multi-dimensional fairness evaluation framework for multilingual text classification, which evaluates the model’s monolingual equality difference, multilingual equality difference, multilingual equality performance difference, and destructiveness of the fairness strategy. We hope that our work can provide a more general debiasing method and a more comprehensive evaluation framework for multilingual text fairness tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google