Consistency Checks for Language Model Forecasters

要約

予測は評価が難しいタスクです。真実は将来にしか分からないのです。
LLM 予測者が人間レベルのパフォーマンスに急速に近づいていることを示す最近の研究では、これらの予測者を瞬時にベンチマークして評価するにはどうすればよいのかという疑問が生じています。
一貫性チェックのフレームワークに従って、論理的に関連するさまざまな質問に対する予測の一貫性という観点から、予測者のパフォーマンスを測定します。
私たちは、裁定取引に基づいた新しい一般的な一貫性の指標を提案します。たとえば、予測 AI が 2024 年の米国大統領選挙で民主党と共和党の両方が勝つ確率が 60% であると非論理的に予測した場合、裁定取引者は予測者の予測に反して取引を行うことができ、
利益。
私たちは、一連の基本的な質問を生成し、これらの質問から一貫性チェックを実行し、予測者の予測を導き出し、予測の一貫性を測定する自動評価システムを構築します。
次に、標準的な適切なスコアリング ルールの予測ベンチマークを構築し、(瞬間的な) 一貫性指標が LLM 予測者のグラウンド トゥルース ブライアー スコア (将来のみ判明する) と相関していることを示します。
また、2028 年に解決される一貫性ベンチマークもリリースし、予測のための長期評価ツールを提供します。

要約(オリジナル)

Forecasting is a task that is difficult to evaluate: the ground truth can only be known in the future. Recent work showing LLM forecasters rapidly approaching human-level performance begs the question: how can we benchmark and evaluate these forecasters instantaneously? Following the consistency check framework, we measure the performance of forecasters in terms of the consistency of their predictions on different logically-related questions. We propose a new, general consistency metric based on arbitrage: for example, if a forecasting AI illogically predicts that both the Democratic and Republican parties have 60% probability of winning the 2024 US presidential election, an arbitrageur can trade against the forecaster’s predictions and make a profit. We build an automated evaluation system that generates a set of base questions, instantiates consistency checks from these questions, elicits the predictions of the forecaster, and measures the consistency of the predictions. We then build a standard, proper-scoring-rule forecasting benchmark, and show that our (instantaneous) consistency metrics correlate with LLM forecasters’ ground truth Brier scores (which are only known in the future). We also release a consistency benchmark that resolves in 2028, providing a long-term evaluation tool for forecasting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google