Efficient LLM Comparative Assessment: a Product of Experts Framework for Pairwise Comparisons

要約

LLM-as-a-judge アプローチは、さまざまなテキスト タスクを評価するための実用的かつ効果的な方法であり、特に比較評価形式で適用される場合は人間の判断と一致します。
ただし、ペアごとの比較を使用して候補セットをランク付けする場合、計算コストは​​候補の数に応じて二次関数的に増加するため、実際的な制限が生じる可能性があります。
このペーパーでは、効率的な LLM 比較評価のための Product of Expert (PoE) フレームワークを紹介します。
ここでは、個々の比較は、ペアのスコア差に関する情報を提供する専門家とみなされます。
PoE フレームワークは、これらの専門家からの情報を組み合わせて、基礎となる候補セットに関して最大​​化できる式を生成し、あらゆる形式の専門家を想定できる非常に柔軟なフレームワークです。
ガウスのエキスパートを使用すると、最適な候補のランキングのための単純な閉形式の解と、このランキングの確率を最大化するためにどの比較を行うべきかを選択するための式を導き出すことができます。
私たちのアプローチは効率的な比較評価を可能にし、可能な比較の小さなサブセットのみを使用することで、すべての比較が使用された場合の予測と同様に人間の判断と相関するスコア予測を生成できます。
複数の NLG タスクに対するアプローチを評価し、ペアごとの比較評価を実行する際に、フレームワークが大幅な計算量の節約をもたらすことを実証します。
N が大きい場合、わずか 2% の比較で、PoE ソリューションはすべての比較を使用した場合と同様のパフォーマンスを達成できます。

要約(オリジナル)

LLM-as-a-judge approaches are a practical and effective way of assessing a range of text tasks, aligning with human judgements especially when applied in a comparative assessment fashion. However, when using pairwise comparisons to rank a set of candidates the computational costs scale quadratically with the number of candidates, which can have practical limitations. This paper introduces a Product of Expert (PoE) framework for efficient LLM Comparative Assessment. Here individual comparisons are considered experts that provide information on a pair’s score difference. The PoE framework combines the information from these experts to yield an expression that can be maximized with respect to the underlying set of candidates, and is highly flexible where any form of expert can be assumed. When Gaussian experts are used one can derive simple closed-form solutions for the optimal candidate ranking, as well as expressions for selecting which comparisons should be made to maximize the probability of this ranking. Our approach enables efficient comparative assessment, where by using only a small subset of the possible comparisons, one can generate score predictions that correlate as well to human judgements as the predictions when all comparisons are used. We evaluate the approach on multiple NLG tasks and demonstrate that our framework can yield considerable computational savings when performing pairwise comparative assessment. When N is large, with as few as 2% of comparisons the PoE solution can achieve similar performance to when all comparisons are used.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google