Mitigating Bias in RAG: Controlling the Embedder

要約

検索拡張生成（RAG）システムでは、各個々のコンポーネント（LLM、エンバダー、コーパス）が、特定の視点やアイデンティティの出力に向けてスキューの形でバイアスを導入することができます。
この作業では、各コンポーネントのバイアスと、バイアス競合と呼ばれるRAGシステムの全体的なバイアスとの関係との間の競合を研究します。
ケーススタディとしての性別と政治のバイアスの両方を調べると、6つの異なるLLMでの複雑さにもかかわらず、コンポーネント間の線形関係を通じてバイアスの対立が特徴付けられることを示します。
包括的な微調整実験を通じて、120の異なるバイアス埋め込み剤を作成することで、ユーティリティを維持しながらバイアスを制御する方法を示し、システム全体のバイアスを緩和するために埋め込み剤を逆バイアシングすることの重要性を明らかにします。
さらに、LLMSとタスクは、浸透するために考慮すべき重要な要因である包含バイアスに対してさまざまな感度を示すことがわかります。
私たちの結果は、公正なぼろきれシステムを、その公平性を高めるのではなく、胚のバイアスを慎重に制御することでよりよく達成できることを強調しています。

要約(オリジナル)

In retrieval augmented generation (RAG) systems, each individual component — the LLM, embedder, and corpus — could introduce biases in the form of skews towards outputting certain perspectives or identities. In this work, we study the conflict between biases of each component and their relationship to the overall bias of the RAG system, which we call bias conflict. Examining both gender and political biases as case studies, we show that bias conflict can be characterized through a linear relationship among components despite its complexity in 6 different LLMs. Through comprehensive fine-tuning experiments creating 120 differently biased embedders, we demonstrate how to control bias while maintaining utility and reveal the importance of reverse-biasing the embedder to mitigate bias in the overall system. Additionally, we find that LLMs and tasks exhibit varying sensitivities to the embedder bias, a crucial factor to consider for debiasing. Our results underscore that a fair RAG system can be better achieved by carefully controlling the bias of the embedder rather than increasing its fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google