Large Language Models are Zero-Shot Next Location Predictors

要約

ある個人が将来訪れる場所を予測することは、病気の拡散や公害の削減など、多くの社会問題を解決する上で極めて重要である。しかし、次の場所予測に取り組むために設計されたモデルは、効果的に学習させるために、かなりの量の個人レベルの情報を必要とする。このようなデータは、地理的な地域や特殊なシナリオ（例えば、推薦システムにおけるコールドスタート）では、不足しているか、あるいは利用できないことさえある。さらに、知識を一般化したり、地理的に転送したりできる次の場所予測器の設計は、まだ未解決の研究課題である。自然言語処理における最近の進歩は、優れた汎化と推論能力を示す大規模言語モデル（LLM）の急速な普及につながっている。これらの洞察は、LLMが地理的知識に富んでいるという最近の知見と相まって、これらのモデルがゼロショットの次ロケーション予測器として機能する可能性があると考えられるようになった。本論文では、この役割における多くの一般的なLLM、特にLlama、GPT-3.5、Mistral 7Bの能力を評価する。適切なプロンプトを設計した後、3つの実世界のモビリティデータセットでモデルをテストした。その結果、LLMは最大32.4%の精度を得ることができ、これは人間の移動のために特別に設計された洗練されたDLモデルと比較した場合、600%以上の大幅な相対的改善となる。さらに、他のLLMではタスクを適切に実行できないことも示した。また、結果の偏りを防ぐため、他の研究にヒントを得て、データの汚染をテストするフレームワークを提案する。最後に、LLMをテキストベースの説明役として使用することで、効果的にその判断の説明を行うことができることを示した。特に、7Bのモデルは、より大きなモデルと比較して、より一般的な、しかし依然として信頼性の高い説明を提供する。コード：github.com/ssai-trento/LLM-zero-shot-NL

要約(オリジナル)

Predicting the locations an individual will visit in the future is crucial for solving many societal issues like disease diffusion and reduction of pollution among many others. The models designed to tackle next-location prediction, however, require a significant amount of individual-level information to be trained effectively. Such data may be scarce or even unavailable in some geographic regions or peculiar scenarios (e.g., cold-start in recommendation systems). Moreover, the design of a next-location predictor able to generalize or geographically transfer knowledge is still an open research challenge. Recent advances in natural language processing have led to a rapid diffusion of Large Language Models (LLMs) which have shown good generalization and reasoning capabilities. These insights, coupled with the recent findings that LLMs are rich in geographical knowledge, allowed us to believe that these models can act as zero-shot next-location predictors. This paper evaluates the capabilities of many popular LLMs in this role, specifically Llama, GPT-3.5 and Mistral 7B. After designing a proper prompt, we tested the models on three real-world mobility datasets. The results show that LLMs can obtain accuracies up to 32.4%, a significant relative improvement of over 600% when compared to sophisticated DL models specifically designed for human mobility. Moreover, we show that other LLMs are unable to perform the task properly. To prevent positively biased results, we also propose a framework inspired by other studies to test data contamination. Finally, we explored the possibility of using LLMs as text-based explainers for next-location prediction showing that can effectively provide an explanation for their decision. Notably, 7B models provide more generic, but still reliable, explanations compared to larger counterparts. Code: github.com/ssai-trento/LLM-zero-shot-NL

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL