A Trip Towards Fairness: Bias and De-Biasing in Large Language Models

要約

自然言語の処理と理解における次の大きな革命として、手頃なトレーニングを備えた安価に構築できる超大規模言語モデル (CtB-LLM) が登場しています。
これらの CtB-LLM は、トレーニング可能な超大言語モデル (VLLM) へのアクセスを民主化しているため、下流のタスクを解決する多くの NLP システムの構成要素となる可能性があります。
したがって、CtB-LLM の多少の偏りまたは大きな偏りは、大きな害を引き起こす可能性があります。
この論文では、CtB-LLM の 3 つのファミリーのバイアスに関する大規模な調査を実行し、バイアス除去技術が効果的で使用可能であることを示しました。
実際、現在の検査によると、LLaMA と OPT の家族は、性別、人種、宗教、職業に関して重大な偏見を持っています。
他の LLM の分析とは対照的に、バイアスはパラメーターの数ではなく、複雑さに依存することがわかりました。
最後に、LoRA を使用した OPT のバイアス除去により、正規化されたステレオタイプ スコアのバイアスが最大 4.12 ポイントまで減少します。

要約(オリジナル)

Cheap-to-Build Very Large-Language Models (CtB-LLMs) with affordable training are emerging as the next big revolution in natural language processing and understanding. These CtB-LLMs are democratizing access to trainable Very Large-Language Models (VLLMs) and, thus, may represent the building blocks of many NLP systems solving downstream tasks. Hence, a little or a large bias in CtB-LLMs may cause huge harm. In this paper, we performed a large investigation of the bias of three families of CtB-LLMs, and we showed that debiasing techniques are effective and usable. Indeed, according to current tests, the LLaMA and the OPT families have an important bias in gender, race, religion, and profession. In contrast to the analysis for other LLMs, we discovered that bias depends not on the number of parameters but on the perplexity. Finally, the debiasing of OPT using LoRA reduces bias up to 4.12 points in the normalized stereotype score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google