Few-Shot Fairness: Unveiling LLM’s Potential for Fairness-Aware Classification

要約

分類などのさまざまな下流アプリケーションで大規模言語モデル (LLM) を採用することは、特にモデルの微調整に必要な専門知識やリソースが不足している中小企業にとって非常に重要です。
LLM の公平性は、人種、性別などの要素に基づいた包括性、平等な代表を保証し、責任ある AI の導入を促進するのに役立ちます。
LLM の使用がますます普及しているため、公平性を考慮した場合に LLM が公平な結果を生み出すことができるかどうかを評価することが重要です。
この研究では、さまざまな公平性の定義に沿った公平性規制を概説するフレームワークを導入します。各定義はさまざまな抽象度によって調整されます。
公平性ルールをプロセスに組み込みながら、RAG を使用してインコンテキスト学習の構成とインコンテキスト デモンストレーションを選択する手順を検討します。
さまざまな LLM を使用して実施された実験では、GPT-4 が他のモデルと比較して、精度と公平性の両方の点で優れた結果を提供することが示されています。
この研究は、コンテキスト内学習を通じて LLM を利用することで予測タスクの公平性を実現する初期の試みの 1 つです。

要約(オリジナル)

Employing Large Language Models (LLM) in various downstream applications such as classification is crucial, especially for smaller companies lacking the expertise and resources required for fine-tuning a model. Fairness in LLMs helps ensure inclusivity, equal representation based on factors such as race, gender and promotes responsible AI deployment. As the use of LLMs has become increasingly prevalent, it is essential to assess whether LLMs can generate fair outcomes when subjected to considerations of fairness. In this study, we introduce a framework outlining fairness regulations aligned with various fairness definitions, with each definition being modulated by varying degrees of abstraction. We explore the configuration for in-context learning and the procedure for selecting in-context demonstrations using RAG, while incorporating fairness rules into the process. Experiments conducted with different LLMs indicate that GPT-4 delivers superior results in terms of both accuracy and fairness compared to other models. This work is one of the early attempts to achieve fairness in prediction tasks by utilizing LLMs through in-context learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google