Eliciting Informative Text Evaluations with Large Language Models

要約

ピア予測メカニズムは、証明可能な保証を持つ高品質のフィードバックを動機づける。しかし、現在の手法は、多肢選択式やスカラー数値のような単純なレポートにしか適用できない。我々は、大規模言語モデルの最近の発展を利用して、テキストベースのレポートのより大きなドメインにこれらの技術を広げることを目指す。これは、ピアレビュー、電子商取引のカスタマーレビュー、ソーシャルメディア上のコメントなど、多種多様なフィードバックチャネルにおいて、テキストによるフィードバックが一般的であるため、ピア予測メカニズムの適用性を大幅に向上させる。 我々は2つのメカニズム、生成的ピア予測メカニズム（GPPM）と生成的シノプシスピア予測メカニズム（GSPPM）を紹介する。これらのメカニズムはLLMを予測子として利用し、あるエージェントの報告からその仲間の報告の予測にマッピングする。理論的には、LLMの予測が十分に正確である場合、我々のメカニズムが（近似的な）ベイズ・ナッシュ均衡として、高い努力と真実の告知のインセンティブを与えることができることを示す。経験的には、YelpレビューデータセットとICLR OpenReviewデータセットの2つの実データセットで実験を行い、我々のメカニズムの有効性を確認する。ICLRデータセットにおいて、我々のメカニズムが3つの品質レベル–人間が書いたレビュー、GPT-4で生成されたレビュー、GPT-3.5で生成されたレビュー–を期待されるスコアの観点から区別できるという結果を強調する。さらに、GSPPMはGPPMよりも効果的にLLM生成レビューにペナルティを与える。

要約(オリジナル)

Peer prediction mechanisms motivate high-quality feedback with provable guarantees. However, current methods only apply to rather simple reports, like multiple-choice or scalar numbers. We aim to broaden these techniques to the larger domain of text-based reports, drawing on the recent developments in large language models. This vastly increases the applicability of peer prediction mechanisms as textual feedback is the norm in a large variety of feedback channels: peer reviews, e-commerce customer reviews, and comments on social media. We introduce two mechanisms, the Generative Peer Prediction Mechanism (GPPM) and the Generative Synopsis Peer Prediction Mechanism (GSPPM). These mechanisms utilize LLMs as predictors, mapping from one agent’s report to a prediction of her peer’s report. Theoretically, we show that when the LLM prediction is sufficiently accurate, our mechanisms can incentivize high effort and truth-telling as an (approximate) Bayesian Nash equilibrium. Empirically, we confirm the efficacy of our mechanisms through experiments conducted on two real datasets: the Yelp review dataset and the ICLR OpenReview dataset. We highlight the results that on the ICLR dataset, our mechanisms can differentiate three quality levels — human-written reviews, GPT-4-generated reviews, and GPT-3.5-generated reviews in terms of expected scores. Additionally, GSPPM penalizes LLM-generated reviews more effectively than GPPM.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL