COBias and Debias: Minimizing Language Model Pairwise Accuracy Bias via Nonlinear Integer Programming

要約

言語モデルを分類する場合、動作可能なクラスを 1 つだけ持つのが良いでしょうか、それともすべてのクラスが動作するのが良いでしょうか?
後者の方がより実用的です。
特に大規模言語モデル (LLM) の場合、コンテキスト内学習 (ICL) によって全体としてかなりの精度が達成されるため、個々のクラスの精度の大きな違いがわかりにくくなります。
この研究では、言語モデルの不均衡をコンテキスト奇数バイアス (COBias) として再概念化することで、クラスごとの予測精度における言語モデルの不均衡を明らかにして取り組み、バイアスを緩和するために非線形整数計画法 (NIP) を初めて採用しました。
簡単に言うと、COBias は、クラス A の誤った予測の大部分を保持する「奇数」クラスと比較した、クラス A による精度の違いを指します。COBias メトリクスを使用すると、さまざまなスケールとファミリーの LLM が高い精度を示していることが明らかになります。
-クラスの精度の違い。
次に、クラスごとの ICL 確率を補正してバイアスを低くし、全体的な精度を高める非線形整数計画法 (DNIP) としてのバイアス除去を提案します。
私たちの最適化目標は、COBias による評価スコアとシミュレーテッド アニーリングによって解決される精度メトリクスに直接基づいています。
7 つの NLP 分類タスクにわたる 3 つの LLM の評価では、DNIP が従来の ICL アプローチと比較して大幅な COBias 削減 ($-27\%$) と精度向上 ($+12\%$) を同時に達成していることが示されており、ペアごとのクラス精度差のモデリングは次のとおりであることが示唆されています。
より正確で信頼性の高い LLM 予測を推進する方向性。

要約(オリジナル)

For language model classification, would you prefer having only one workable class or having every class working? The latter makes more practical uses. Especially for large language models (LLMs), the fact that they achieve a fair overall accuracy by in-context learning (ICL) obscures a large difference in individual class accuracies. In this work, we uncover and tackle language models’ imbalance in per-class prediction accuracy by reconceptualizing it as the Contextual Oddity Bias (COBias), and we are the first to engage nonlinear integer programming (NIP) to debias it. Briefly, COBias refers to the difference in accuracy by a class A compared to its ”odd” class, which holds the majority wrong predictions of class A. With the COBias metric, we reveal that LLMs of varied scales and families exhibit large per-class accuracy differences. Then we propose Debiasing as Nonlinear Integer Programming (DNIP) to correct ICL per-class probabilities for lower bias and higher overall accuracy. Our optimization objective is directly based on the evaluation scores by COBias and accuracy metrics, solved by simulated annealing. Evaluations on three LLMs across seven NLP classification tasks show that DNIP simultaneously achieves significant COBias reduction ($-27\%$) and accuracy improvement ($+12\%$) over the conventional ICL approach, suggesting that modeling pairwise class accuracy differences is a direction in pushing forward more accurate, more reliable LLM predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google