ElicitationGPT: Text Elicitation Mechanisms via Language Models

要約

スコアリング ルールは、未知の状態の確率的予測を実現された状態と比較して評価し、インセンティブのある情報の引き出しと機械学習モデルのトレーニングにおける基本的な構成要素です。
この論文では、大規模な言語モデル (具体的には ChatGPT) に対するドメイン知識フリーのクエリを使用して、グラウンド トゥルース テキストに対して導き出されたテキストをスコアリングするメカニズムを開発し、人間の好みとの整合性を経験的に評価します。
経験的評価は、ピア グレーディング データセットからのピア レビューに対して、およびピア レビューの手動の講師スコアと比較して実行されます。

要約(オリジナル)

Scoring rules evaluate probabilistic forecasts of an unknown state against the realized state and are a fundamental building block in the incentivized elicitation of information and the training of machine learning models. This paper develops mechanisms for scoring elicited text against ground truth text using domain-knowledge-free queries to a large language model (specifically ChatGPT) and empirically evaluates their alignment with human preferences. The empirical evaluation is conducted on peer reviews from a peer-grading dataset and in comparison to manual instructor scores for the peer reviews.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google