Context is Key: A Benchmark for Forecasting with Essential Textual Information

要約

予測は、さまざまな領域にわたる意思決定において重要なタスクです。
数値データは基礎を提供しますが、正確な予測に必要な重要なコンテキストが欠けていることがよくあります。
人間の予報担当者は、自然言語を通じて効率的に伝達できる背景知識や制約などの追加情報に依存することがよくあります。
ただし、既存の予測モデルがこのテキスト情報を効果的に統合できるかどうかは未解決の問題のままです。
これに対処するために、数値データと慎重に作成されたさまざまな種類のテキスト コンテキストを組み合わせる時系列予測ベンチマークである「Context is Key」(CiK) を導入します。モデルには両方のモダリティを統合する必要があります。
私たちは、統計モデル、時系列基盤モデル、LLM ベースの予測機能などのさまざまなアプローチを評価し、ベンチマークでテストされた他のすべての方法よりも優れた、シンプルでありながら効果的な LLM プロンプト方法を提案します。
私たちの実験では、コンテキスト情報を組み込むことの重要性を強調し、LLM ベースの予測モデルを使用した際の驚くべきパフォーマンスを実証し、また、その重大な欠点のいくつかも明らかにしました。
このベンチマークを提示することで、私たちはマルチモーダルな予測を進歩させ、正確であり、さまざまな技術的専門知識を持つ意思決定者にとって利用しやすいモデルを促進することを目指しています。
ベンチマークは https://servicenow.github.io/context-is-key-forecasting/v0/ で視覚化できます。

要約(オリジナル)

Forecasting is a critical task in decision making across various domains. While numerical data provides a foundation, it often lacks crucial context necessary for accurate predictions. Human forecasters frequently rely on additional information, such as background knowledge or constraints, which can be efficiently communicated through natural language. However, the ability of existing forecasting models to effectively integrate this textual information remains an open question. To address this, we introduce ‘Context is Key’ (CiK), a time series forecasting benchmark that pairs numerical data with diverse types of carefully crafted textual context, requiring models to integrate both modalities. We evaluate a range of approaches, including statistical models, time series foundation models, and LLM-based forecasters, and propose a simple yet effective LLM prompting method that outperforms all other tested methods on our benchmark. Our experiments highlight the importance of incorporating contextual information, demonstrate surprising performance when using LLM-based forecasting models, and also reveal some of their critical shortcomings. By presenting this benchmark, we aim to advance multimodal forecasting, promoting models that are both accurate and accessible to decision-makers with varied technical expertise. The benchmark can be visualized at https://servicenow.github.io/context-is-key-forecasting/v0/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google