Likelihood-based Mitigation of Evaluation Bias in Large Language Models

要約

大規模言語モデル（Large Language Models: LLM）は、自動化された評価指標として自然言語生成タスクの評価に広く用いられている。しかし、LLMの文に対する確からしさの尺度である尤度は、語順や文構造などの文の表面的な違いによって変化する可能性がある。そのため、LLMを評価に用いると、尤度が高い文は過大評価され、尤度が低い文は過小評価されるという尤度バイアスが生じる可能性がある。本論文では、LLMに基づく評価における尤度バイアスの存在と影響を調査する。また、尤度バイアスを軽減する方法を提案する。本手法では、尤度バイアスの高い事例をコンテキスト内学習のための少数例として利用する。データからテキストへの変換と文法誤り訂正タスクを評価する実験により、我々がテストしたいくつかのLLMが尤度バイアスを示すことが明らかになった。さらに、我々の提案手法はこのバイアスを軽減することに成功し、評価性能（モデルと人間のスコアとの相関）も大幅に改善した。

要約(オリジナル)

Large Language Models (LLMs) are widely used to evaluate natural language generation tasks as automated metrics. However, the likelihood, a measure of LLM’s plausibility for a sentence, can vary due to superficial differences in sentences, such as word order and sentence structure. It is therefore possible that there might be a likelihood bias if LLMs are used for evaluation: they might overrate sentences with higher likelihoods while underrating those with lower likelihoods. In this paper, we investigate the presence and impact of likelihood bias in LLM-based evaluators. We also propose a method to mitigate the likelihood bias. Our method utilizes highly biased instances as few-shot examples for in-context learning. Our experiments in evaluating the data-to-text and grammatical error correction tasks reveal that several LLMs we test display a likelihood bias. Furthermore, our proposed method successfully mitigates this bias, also improving evaluation performance (in terms of correlation of models with human scores) significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL