Forecasting Future International Events: A Reliable Dataset for Text-Based Event Modeling

要約

ニュース記事などの文字情報から将来の国際的な出来事を予測することは、世界政策、戦略的意思決定、地政学に応用できる大きな可能性を秘めています。
ただし、このタスクに利用できる既存のデータセットは品質が限られていることが多く、関連研究の進行を妨げています。
このペーパーでは、大規模言語モデル (LLM) の高度な推論機能を活用してこれらの制限に対処するように設計された新しいデータセットである WORLDREP (WORLD Relationship and Event Prediction) を紹介します。
当社のデータセットは、高度なプロンプト モデリングによって生成され、政治学の分野の専門家によって厳密に検証された高品質のスコアリング ラベルを特徴としています。
現実世界のイベント予測タスクにおける WORLDREP の品質と有用性を紹介し、広範な実験と分析を通じてその有効性を実証します。
さらに、テキストベースのイベント予測の研究をサポートし、推進することを目的として、データ収集、ラベル付け、ベンチマークのための完全な自動化ソース コードとともにデータセットを一般公開しています。

要約(オリジナル)

Predicting future international events from textual information, such as news articles, has tremendous potential for applications in global policy, strategic decision-making, and geopolitics. However, existing datasets available for this task are often limited in quality, hindering the progress of related research. In this paper, we introduce WORLDREP (WORLD Relationship and Event Prediction), a novel dataset designed to address these limitations by leveraging the advanced reasoning capabilities of large-language models (LLMs). Our dataset features high-quality scoring labels generated through advanced prompt modeling and rigorously validated by domain experts in political science. We showcase the quality and utility of WORLDREP for real-world event prediction tasks, demonstrating its effectiveness through extensive experiments and analysis. Furthermore, we publicly release our dataset along with the full automation source code for data collection, labeling, and benchmarking, aiming to support and advance research in text-based event prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google