Large Language Models Are Not Robust Multiple Choice Selectors

要約

多肢選択質問 (MCQ) は、大規模言語モデル (LLM) の研究において一般的かつ重要なタスク形式として機能します。
この研究は、LLM が固有の「選択バイアス」、つまり、特定のオプション ID (「オプション A」など) を回答として選択することを好むため、MCQ でのオプションの位置の変更に対して脆弱であることを示しています。
3 つのベンチマークで 20 個の LLM を使用した広範な実証分析を通じて、この行動バイアスが主に LLM のトークン バイアスに起因していることを突き止めました。この場合、モデルは特定のオプション ID トークン (A/B/C/D など) にアプリオリにより多くの確率的な質量を割り当てます。
選択肢 ID から答えを予測する場合。
選択バイアスを軽減するために、PriDe と呼ばれるラベルフリーの推論時間バイアス除去手法を提案します。これは、オプション ID に対するモデルの事前バイアスを予測分布全体から分離します。
PriDe は、まず少数のテスト サンプルのオプションの内容を並べ替えることによって事前予測を推定し、それを後続のサンプルの偏りを解消するために適用します。
我々は、PriDe が強力なベースラインに対して優れたバイアス除去効果と計算効率を達成することを実証します。
さらに、PriDe による事前推定は解釈可能であり、さまざまなドメインにわたってよく一般化できるため、より広範なシナリオでの実用的な可能性が強調されます。

要約(オリジナル)

Multiple choice questions (MCQs) serve as a common yet important task format in the research of large language models (LLMs). This work shows that LLMs are vulnerable to option position changes in MCQs due to their inherent ‘selection bias’, namely, they prefer to select specific option IDs as answers (like ‘Option A’). Through extensive empirical analyses with 20 LLMs on three benchmarks, we pinpoint that this behavioral bias primarily stems from LLMs’ token bias, where the model a priori assigns more probabilistic mass to specific option ID tokens (e.g., A/B/C/D) when predicting answers from the option IDs. To mitigate selection bias, we propose a label-free, inference-time debiasing method, called PriDe, which separates the model’s prior bias for option IDs from the overall prediction distribution. PriDe first estimates the prior by permutating option contents on a small number of test samples, which is then applied to debias the subsequent samples. We demonstrate that PriDe achieves superior debiasing effectiveness and computational efficiency to strong baselines. Furthermore, the prior estimated by PriDe is interpretable and can generalize well across different domains, highlighting its practical potential in broader scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google