Let the Fuzzy Rule Speak: Enhancing In-context Learning Debiasing with Interpretability

要約

大規模言語モデル (LLM) の潜在的な失敗の 1 つは、テキスト分類タスクにおけるクラス パフォーマンスの不均衡です。
インコンテキスト学習 (ICL) を使用すると、LLM は一部のクラスでは高い精度をもたらしますが、他のクラスでは低い精度をもたらします。
この不均衡は、誤った分類がユーザーの不満や安全上のリスクにつながる場合に特に問題となります。
根本原因はデータにある可能性がありますが、トレーニングを通じてソースから根本原因に対処するのは簡単ではなく、費用対効果も高くありません。
さらに詳しく説明すると、この不均衡は、特定のクラスが一貫して不釣り合いに高い ICL 確率を受け取る一方で、他のクラスはより低い確率を受け取り、その結果、後者の予測が過小評価され、精度が低下することに起因します。
重要なのは、確率の範囲によって不均衡への影響が異なるため、範囲ごとに正確な修正が可能になるということです。
したがって、この研究では、この問題に取り組むために、推論時のバイアス除去手法である FuRud (Fuzzy Rule Optimization-based Debiasing) を導入しています。
FuRud は、特定のクラスがなぜ修正を必要とするのかを判断し、サンプルとクラスの確率ごとに調整を調整することで、解釈可能性の中核的な課題に対処します。
カスタマイズされた補正では、確率範囲に基づいてサンプルごとのクラス確率を変換できるため、三角メンバーシップ関数を含むファジー セットが使用されます。
各クラスは 19 の三角メンバーシップ関数から 1 つを選択し、模擬アニーリングを使用して非線形整数計画法選択問題を解き、LLM パラメーターを更新せずにクラス精度バイアス (COBias) を最小限に抑え、全体の精度を最大化します。
特に、FuRud は 7 つのベンチマーク データセット全体で COBias を半分以上 (56%) 削減しながら、全体の精度で相対的に 21% の向上を達成し、最先端のバイアス除去手法を上回っています。

要約(オリジナル)

One of the potential failures of large language models (LLMs) is their imbalanced class performances in text classification tasks. With in-context learning (ICL), LLMs yields good accuracy for some classes but low accuracy for others. This imbalance is particularly problematic when misclassifications lead to user dissatisfaction or safety risks. While the root causes may lie in the data, addressing them from the source through training is neither easy nor cost-effective. To delve deeper, the imbalance stems from certain classes consistently receiving disproportionately high ICL probabilities, while others receive lower probabilities, resulting in under-prediction and lower accuracy in the latter. Crucially, probability ranges vary in their impact on the imbalance, enabling precise corrections by range. Therefore, this work introduces an inference-time debiasing method, FuRud (Fuzzy Rule Optimization-based Debiasing), to tackle this issue. FuRud addresses core interpretability challenges by determining why certain classes require corrections and tailoring adjustments for each sample and class probability. Tailored corrections use fuzzy sets with triangular membership functions, because they can transform per-sample class probabilities based on probability ranges. Each class selects one from 19 triangular membership functions, solving a nonlinear integer programming selection problem with simulated annealing, to minimize class accuracy bias (COBias) and maximize overall accuracy without updating LLM parameters. Notably, across seven benchmark datasets, FuRud reduces COBias by more than half (56%), while achieving a relative increase of 21% in overall accuracy, outperforming state-of-the-art debiasing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google