Can LLMs plan paths in the real world?

要約

大規模言語モデル (LLM) が車両ナビゲーション システムに統合されることが増えているため、その経路計画機能を理解することが重要です。
私たちは、さまざまな設定およびさまざまな困難を伴う 6 つの実際のパス計画シナリオを通じて 3 つの LLM をテストしました。
私たちの実験では、すべての LLM がすべてのシナリオで多数のエラーを犯し、信頼性の低いパス プランナーであることが明らかになりました。
今後の作業は、リアリティチェックのためのメカニズムの実装、モデルの透明性の強化、より小規模なモデルの開発に焦点を当てることをお勧めします。

要約(オリジナル)

As large language models (LLMs) increasingly integrate into vehicle navigation systems, understanding their path-planning capability is crucial. We tested three LLMs through six real-world path-planning scenarios in various settings and with various difficulties. Our experiments showed that all LLMs made numerous errors in all scenarios, revealing that they are unreliable path planners. We suggest that future work focus on implementing mechanisms for reality checks, enhancing model transparency, and developing smaller models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google