COBias and Debias: Minimizing Language Model Pairwise Accuracy Bias via Nonlinear Integer Programming

要約

言語モデルを使用して分類タスクを実行する場合、精度の高いクラスを 1 つだけ使用するのと、すべてのクラスが信頼性の高いパフォーマンスを提供するのとでは、どちらを好みますか?
明らかに、クラス間で精度のバランスが取れているほど、大多数のユーザーの期待がよりよく反映されます。
特に大規模言語モデル (LLM) の場合、コンテキスト内学習 (ICL) によって全体としてかなりの精度が達成されるため、個々のクラスの精度の大きな違いがわかりにくくなります。
この研究では、言語モデルの不均衡をコンテキスト奇数バイアス (COBias) として再概念化することで、クラスごとの予測精度における言語モデルの不均衡を明らかにして取り組み、バイアスを緩和するために非線形整数計画法 (NIP) を初めて採用しました。
簡単に言うと、提案された COBias メトリクスはクラス ペア間の精度差を測定し、これにより、さまざまなスケールやファミリーの LLM で示されるクラスごとの大きな精度差が明らかになります。
次に、クラスごとの ICL 確率を補正して COBias を低くし、全体的な精度を高めるために、非線形整数計画法 (DNIP) としてのバイアス除去を提案します。
私たちの最適化目標は、COBias による評価スコアと精度メトリクスに直接基づいており、微分不可能であり、シミュレーテッド アニーリング メタヒューリスティックによって解決されます。
7 つの NLP 分類タスクにわたる 3 つの LLM の評価では、DNIP が従来の ICL アプローチと比較して大幅な COBias 削減 (-27%) と精度向上 (+12%) を同時に達成していることが示されており、ペアごとのクラス精度差のモデリングがさらなる推進の方向性であることを示唆しています。
正確で信頼性の高い LLM 予測。

要約(オリジナル)

When performing classification tasks with language models, would you prefer having only one highly accurate class or having every class deliver reliable performance? Obviously, a more balanced accuracy among classes better reflects the expectations of the majority of users. Especially for large language models (LLMs), the fact that they achieve a fair overall accuracy by in-context learning (ICL) obscures a large difference in individual class accuracies. In this work, we uncover and tackle language models’ imbalance in per-class prediction accuracy by reconceptualizing it as the Contextual Oddity Bias (COBias), and we are the first to engage nonlinear integer programming (NIP) to debias it. Briefly, the proposed COBias metric measures accuracy differences among class pairs, with which we reveal the large per-class accuracy differences exhibited in LLMs of varied scales and families. Then we propose Debiasing as Nonlinear Integer Programming (DNIP) to correct ICL per-class probabilities towards lower COBias and higher overall accuracy. Our optimization objective is directly based on the evaluation scores by COBias and accuracy metrics, which is non-differentiable and solved by the simulated annealing metaheuristic. Evaluations on three LLMs across seven NLP classification tasks show that DNIP simultaneously achieves significant COBias reduction (-27%) and accuracy improvement (+12%) over the conventional ICL approach, suggesting that modeling pairwise class accuracy differences is a direction in pushing forward more accurate, more reliable LLM predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google