FairCode: Evaluating Social Bias of LLMs in Code Generation

要約

大規模言語モデル (LLM) はコード生成において重要な機能を実証しており、その出力の品質と安全性の評価への注目が高まっています。
ただし、コード生成におけるバイアスに関する研究は依然として限られています。
既存の研究は通常、悪意のあるプロンプトを適用するか、識別モデルのタスクとデータセットを再適用することによってバイアスを評価します。
LLM は人間の価値観と一致していることが多く、以前のデータセットがコード関連タスク用に完全には最適化されていないことを考えると、コード モデルを評価するために特別に設計されたベンチマークが急務となっています。
この研究では、コード生成におけるバイアスを評価するための新しいベンチマークである FairCode を紹介します。
FairCode は、関数の実装とテスト ケースの生成という 2 つのタスクで構成され、それぞれがさまざまなシナリオを通じて社会的バイアスを評価します。
さらに、このベンチマークでモデルのパフォーマンスを評価するための新しい指標である FairScore を提案します。
私たちは広く使用されている LLM について実験を実施し、結果の包括的な分析を提供します。
調査結果は、テストされたすべての LLM にバイアスがあることが明らかになりました。
コードは https://github.com/YongkDu/FairCode で入手できます。

要約(オリジナル)

Large language models (LLMs) have demonstrated significant capability in code generation, drawing increasing attention to the evaluation of the quality and safety of their outputs. However, research on bias in code generation remains limited. Existing studies typically assess bias by applying malicious prompts or reapply tasks and dataset for discriminative models. Given that LLMs are often aligned with human values and that prior datasets are not fully optimized for code-related tasks, there is a pressing need for benchmarks specifically designed for evaluating code models. In this study, we introduce FairCode, a novel benchmark for evaluating bias in code generation. FairCode comprises two tasks: function implementation and test case generation, each evaluating social bias through diverse scenarios. Additionally, we propose a new metric, FairScore, to assess model performance on this benchmark. We conduct experiments on widely used LLMs and provide a comprehensive analysis of the results. The findings reveal that all tested LLMs exhibit bias. The code is available at https://github.com/YongkDu/FairCode.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google