Approaching Human-Level Forecasting with Language Models

要約

将来の出来事を予測することは、政策や意思決定にとって重要です。
この研究では、言語モデル (LM) が競争力のある人間の予測者のレベルで予測できるかどうかを研究します。
この目標に向けて、関連情報を自動的に検索し、予測を生成し、予測を集約するように設計された検索拡張 LM システムを開発します。
研究を促進するために、私たちは競合予測プラットフォームから質問の大規模なデータセットを収集します。
LM の知識が遮断された後に公開されたテスト セットに基づいて、人間の予測の集計に対してシステムのエンドツーエンドのパフォーマンスを評価します。
平均すると、このシステムは競争力のある予測者の群衆の総計に近づき、一部の設定ではそれを上回ります。
私たちの研究は、LM を使用して将来を予測することで、大規模な正確な予測を提供し、組織の意思決定に情報を提供できる可能性があることを示唆しています。

要約(オリジナル)

Forecasting future events is important for policy and decision making. In this work, we study whether language models (LMs) can forecast at the level of competitive human forecasters. Towards this goal, we develop a retrieval-augmented LM system designed to automatically search for relevant information, generate forecasts, and aggregate predictions. To facilitate our study, we collect a large dataset of questions from competitive forecasting platforms. Under a test set published after the knowledge cut-offs of our LMs, we evaluate the end-to-end performance of our system against the aggregates of human forecasts. On average, the system nears the crowd aggregate of competitive forecasters, and in some settings surpasses it. Our work suggests that using LMs to forecast the future could provide accurate predictions at scale and help to inform institutional decision making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google