Large Language Models are Zero-Shot Next Location Predictors

要約

個人が将来訪れるであろう場所を予測することは、病気の蔓延や汚染の軽減など、多くの社会問題を解決するために極めて重要です。
ただし、次の場所の予測に取り組むように設計されたモデルを効果的にトレーニングするには、大量の個人レベルの情報が必要です。
一部の地理的地域や特殊なシナリオ (推奨システムのコールドスタートなど) では、そのようなデータが不足しているか、入手できない場合もあります。
さらに、知識を一般化または地理的に伝達できる次の場所の予測子の設計は、まだ未解決の研究課題です。
自然言語処理の最近の進歩により、優れた一般化機能と推論機能を備えた大規模言語モデル (LLM) が急速に普及しました。
これらの洞察と、LLM には地理的知識が豊富であるという最近の発見とを組み合わせることで、これらのモデルがゼロショットの次の場所の予測子として機能できると信じることができました。
このペーパーでは、この役割における多くの人気のある LLM、特に Llama、GPT-3.5、Mistral 7B の機能を評価します。
適切なプロンプトを設計した後、3 つの現実世界のモビリティ データセットでモデルをテストしました。
結果は、LLM が最大 32.4% の精度を得ることができることを示しており、人間の移動のために特別に設計された高度な DL モデルと比較すると、600% 以上の大幅な相対的改善です。
さらに、他の LLM がタスクを適切に実行できないことも示します。
肯定的に偏った結果を防ぐために、データ汚染をテストするための他の研究からインスピレーションを得たフレームワークも提案します。
最後に、次の場所を予測するためのテキストベースの説明者として LLM を使用し、意思決定の説明を効果的に提供できる可能性を検討しました。
特に、7B モデルは、より大きな対応物と比較して、より一般的でありながら信頼性の高い説明を提供します。
コード: github.com/ssai-trento/LLM-zero-shot-NL

要約(オリジナル)

Predicting the locations an individual will visit in the future is crucial for solving many societal issues like disease diffusion and reduction of pollution among many others. The models designed to tackle next-location prediction, however, require a significant amount of individual-level information to be trained effectively. Such data may be scarce or even unavailable in some geographic regions or peculiar scenarios (e.g., cold-start in recommendation systems). Moreover, the design of a next-location predictor able to generalize or geographically transfer knowledge is still an open research challenge. Recent advances in natural language processing have led to a rapid diffusion of Large Language Models (LLMs) which have shown good generalization and reasoning capabilities. These insights, coupled with the recent findings that LLMs are rich in geographical knowledge, allowed us to believe that these models can act as zero-shot next-location predictors. This paper evaluates the capabilities of many popular LLMs in this role, specifically Llama, GPT-3.5 and Mistral 7B. After designing a proper prompt, we tested the models on three real-world mobility datasets. The results show that LLMs can obtain accuracies up to 32.4%, a significant relative improvement of over 600% when compared to sophisticated DL models specifically designed for human mobility. Moreover, we show that other LLMs are unable to perform the task properly. To prevent positively biased results, we also propose a framework inspired by other studies to test data contamination. Finally, we explored the possibility of using LLMs as text-based explainers for next-location prediction showing that can effectively provide an explanation for their decision. Notably, 7B models provide more generic, but still reliable, explanations compared to larger counterparts. Code: github.com/ssai-trento/LLM-zero-shot-NL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google