TP-RAG: Benchmarking Retrieval-Augmented Large Language Model Agents for Spatiotemporal-Aware Travel Planning

要約

大規模な言語モデル（LLM）は、旅行計画の自動化に有望を示していますが、微妙な時空の合理性に対処するのに不足していることがよくあります。
既存のベンチマークは基本的な計画の有効性に焦点を当てていますが、ルート効率、POIアピール、リアルタイムの適応性などの重要な側面を無視しています。
このペーパーでは、検索された空間的に認識された旅行計画に合わせた最初のベンチマークであるTP-RAGを紹介します。
当社のデータセットには、2,348の実世界の旅行クエリ、85,575のファイングレイン注釈付きPOI、および18,784の高品質の旅行軌跡参照がオンライン観光文書から供給され、動的およびコンテキスト対応の計画が可能になります。
広範な実験を通じて、参照軌道を統合することで旅行計画の空間効率と定量性が大幅に向上することが明らかになりますが、相反する参照と騒々しいデータにより、普遍性と堅牢性に課題が持続します。
これらの問題に対処するために、LLMSの本質的な推論で多様な検索された軌跡を強力に相乗する進化的枠組みであるEvoragを提案します。
Evoragは、最先端のパフォーマンスを達成し、時空間的コンプライアンスを改善し、ゼロと検索の高級ベースラインと比較して常識的な違反を減らします。
私たちの仕事は、LLM駆動型の最適化でWebの知識をハイブリダイズする可能性を強調し、より信頼性の高い適応性のある旅行計画エージェントへの道を開いています。

要約(オリジナル)

Large language models (LLMs) have shown promise in automating travel planning, yet they often fall short in addressing nuanced spatiotemporal rationality. While existing benchmarks focus on basic plan validity, they neglect critical aspects such as route efficiency, POI appeal, and real-time adaptability. This paper introduces TP-RAG, the first benchmark tailored for retrieval-augmented, spatiotemporal-aware travel planning. Our dataset includes 2,348 real-world travel queries, 85,575 fine-grain annotated POIs, and 18,784 high-quality travel trajectory references sourced from online tourist documents, enabling dynamic and context-aware planning. Through extensive experiments, we reveal that integrating reference trajectories significantly improves spatial efficiency and POI rationality of the travel plan, while challenges persist in universality and robustness due to conflicting references and noisy data. To address these issues, we propose EvoRAG, an evolutionary framework that potently synergizes diverse retrieved trajectories with LLMs’ intrinsic reasoning. EvoRAG achieves state-of-the-art performance, improving spatiotemporal compliance and reducing commonsense violation compared to ground-up and retrieval-augmented baselines. Our work underscores the potential of hybridizing Web knowledge with LLM-driven optimization, paving the way for more reliable and adaptive travel planning agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google