LAMP: A Language Model on the Map

要約

大規模言語モデル (LLM) は、幅広いタスクにわたって支援を提供し、私たちの生活の中でますます重要な役割を果たす態勢が整っています。
地理空間ドメインでは、LLM は国の首都の特定などの一般的な質問に答える能力を実証しています。
それにもかかわらず、食料品店やレストランなど、人々の日常生活に不可欠な側面を構成する特定の場所に関するきめ細かい質問に答える場合、その有用性は妨げられます。
これは主に、私たちの都市の場所が、理解して記憶できるように体系的に LLM に入力されていないためです。
この研究では、都市固有のデータに基づいて事前トレーニングされたモデルを微調整するための新しいフレームワークを導入し、幻覚を最小限に抑えながら正確な推奨事項を提供できるようにします。
私たちはモデル、LAMP、およびそのトレーニングに使用されるデータを共有します。
私たちは実験を行って、空間オブジェクトを正しく取得する能力を分析し、GPT-4 などのよく知られているオープンおよびクローズドソースの言語モデルと比較します。
最後に、一日の計画に関するケーススタディを通じて、その新たな機能を探ります。

要約(オリジナル)

Large Language Models (LLMs) are poised to play an increasingly important role in our lives, providing assistance across a wide array of tasks. In the geospatial domain, LLMs have demonstrated the ability to answer generic questions, such as identifying a country’s capital; nonetheless, their utility is hindered when it comes to answering fine-grained questions about specific places, such as grocery stores or restaurants, which constitute essential aspects of people’s everyday lives. This is mainly because the places in our cities haven’t been systematically fed into LLMs, so as to understand and memorize them. This study introduces a novel framework for fine-tuning a pre-trained model on city-specific data, to enable it to provide accurate recommendations, while minimizing hallucinations. We share our model, LAMP, and the data used to train it. We conduct experiments to analyze its ability to correctly retrieving spatial objects, and compare it to well-known open- and closed- source language models, such as GPT-4. Finally, we explore its emerging capabilities through a case study on day planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google