Prompt Mining for Language-based Human Mobility Forecasting

要約

大規模な言語モデルの進歩により、言語ベースの予測が人間の移動パターンを予測するための革新的なアプローチとして最近登場しました。
中心的なアイデアは、プロンプトを使用して数値として与えられた生のモビリティ データを自然言語文に変換し、言語モデルを利用して将来の観察のための説明を生成できるようにすることです。
しかし、これまでの研究では、数値を文章に変換するために手動で設計された固定のテンプレートのみが使用されていました。
言語モデルの予測パフォーマンスはプロンプトに大きく依存するため、プロンプトに固定テンプレートを使用すると、言語モデルの予測機能が制限される可能性があります。
この論文では、多様なプロンプト設計戦略を探ることを目的として、言語ベースのモビリティ予測におけるプロンプトマイニングのための新しいフレームワークを提案します。
具体的には、このフレームワークには、プロンプトの情報エントロピーに基づくプロンプト生成段階と、思考連鎖などのメカニズムを統合するためのプロンプト改良段階が含まれます。
現実世界の大規模データでの実験結果は、プロンプト マイニング パイプラインから生成されたプロンプトの優位性を示しています。
さらに、さまざまなプロンプト バリアントを比較すると、提案されたプロンプト改良プロセスが効果的であることがわかります。
私たちの研究は、言語ベースのモビリティ予測をさらに進歩させるための有望な方向性を示しています。

要約(オリジナル)

With the advancement of large language models, language-based forecasting has recently emerged as an innovative approach for predicting human mobility patterns. The core idea is to use prompts to transform the raw mobility data given as numerical values into natural language sentences so that the language models can be leveraged to generate the description for future observations. However, previous studies have only employed fixed and manually designed templates to transform numerical values into sentences. Since the forecasting performance of language models heavily relies on prompts, using fixed templates for prompting may limit the forecasting capability of language models. In this paper, we propose a novel framework for prompt mining in language-based mobility forecasting, aiming to explore diverse prompt design strategies. Specifically, the framework includes a prompt generation stage based on the information entropy of prompts and a prompt refinement stage to integrate mechanisms such as the chain of thought. Experimental results on real-world large-scale data demonstrate the superiority of generated prompts from our prompt mining pipeline. Additionally, the comparison of different prompt variants shows that the proposed prompt refinement process is effective. Our study presents a promising direction for further advancing language-based mobility forecasting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google