Bias Testing and Mitigation in LLM-based Code Generation

要約

最先端の大規模言語モデル (LLM) を利用した自動コード生成モデルは、ソフトウェア開発手順の生産性を向上させる上で極めて重要な役割を果たします。
ソフトウェア コーディング エコシステムで LLM の採用がより広範になるにつれて、生成されたコードには年齢、性別、人種に関連したものなどの社会的偏見や不公平が含まれていないかという差し迫った問題が浮上しています。
この問題は、これらのモデルによって生成されたコードに依存するソフトウェア アプリケーションの完全性、公平性、倫理的基盤に関係していますが、文献ではまだ十分に検討されていません。
このペーパーでは、コード生成タスク用に特別に設計された新しいバイアス テスト フレームワークを紹介します。
このフレームワークに基づいて、5 つの最先端の LLM によって生成されたコードのバイアスの広範な評価を実施します。
私たちの調査結果では、バイアスに敏感なタスク (つまり、年齢や性別などの敏感な属性が関係するタスク) を処理する場合、研究対象のモデルによって生成されたコード関数の 20.29% ～ 44.93% にバイアスがかかっていることが明らかになりました。
これは、既存の LLM がコード生成において不公平である可能性があり、意図しない有害なソフトウェア動作のリスクを引き起こす可能性があることを示しています。
コード生成モデルのバイアスを軽減するために、5 つのバイアス軽減プロンプト戦略を評価します。つまり、バイアス テストの結果を利用して、コード (ゼロショット)、ワンショット、少数ショット、および 2 つの思考連鎖 (CoT) プロンプトを改良します。
。
私たちの評価結果は、これらの戦略がすべてバイアスを軽減するのに効果的であることを示しています。
全体として、1 回学習と数回学習の 2 つが最も効果的です。
GPT-4 の場合、80% ～ 90% のコード バイアスをワンショット学習で除去できます。

要約(オリジナル)

Utilizing state-of-the-art Large Language Models (LLMs), automatic code generation models play a pivotal role in enhancing the productivity of software development procedures. As the adoption of LLMs becomes more widespread in software coding ecosystems, a pressing issue has emerged: does the generated code contain social bias and unfairness, such as those related to age, gender, and race? This issue concerns the integrity, fairness, and ethical foundation of software applications that depend on the code generated by these models, yet is under-explored in the literature. This paper presents a novel bias testing framework that is specifically designed for code generation tasks. Based on this framework, we conduct an extensive evaluation of the bias in code generated by five state-of-the-art LLMs. Our findings reveal that 20.29% to 44.93% code functions generated by the models under study are biased when handling bias sensitive tasks (i.e., tasks that involve sensitive attributes such as age and gender). This indicates that the existing LLMs can be unfair in code generation, posing risks of unintended and harmful software behaviors. To mitigate bias for code generation models, we evaluate five bias mitigation prompt strategies, i.e., utilizing bias testing results to refine the code (zero-shot), one-, few-shot, and two Chain-of-Thought (CoT) prompts. Our evaluation results illustrate that these strategies are all effective in mitigating bias. Overall, one-shot and few-shot learning are the two most effective. For GPT-4, 80% to 90% code bias can be removed with one-shot learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google