Towards Human Awareness in Robot Task Planning with Large Language Models

要約

大規模言語モデル (LLM) の研究における最近の進歩は、いくつかの研究領域にわたる変革を引き起こしました。
特に、LLM の統合により、ロボットのタスクおよびモーション プランニング (TAMP) のパフォーマンスが大幅に向上しました。
しかし、これまでのアプローチでは、動的環境、つまり人間などの動的オブジェクトの存在の考慮が無視されることがよくありました。
この論文では、LLM ベースのロボットのタスク計画に人間の意識を組み込むことで、このギャップに対処する新しいアプローチを提案します。
動的な環境を効果的に表現するために、私たちのアプローチは人間の情報を階層的なシーン グラフに統合します。
計画の実行可能性を確保するために、私たちは LLM を活用して、環境トポロジーと実用的な知識を正式な計画言語に落とし込みます。
最も重要なことは、LLM を使用して将来の人間の活動を予測し、その予測を考慮してロボットのタスクを計画することです。
私たちの貢献により、人間の意識を LLM 主導のロボットのタスク計画に統合する開発が促進され、動的な環境におけるロボットのプロアクティブな意思決定への道が開かれます。

要約(オリジナル)

The recent breakthroughs in the research on Large Language Models (LLMs) have triggered a transformation across several research domains. Notably, the integration of LLMs has greatly enhanced performance in robot Task And Motion Planning (TAMP). However, previous approaches often neglect the consideration of dynamic environments, i.e., the presence of dynamic objects such as humans. In this paper, we propose a novel approach to address this gap by incorporating human awareness into LLM-based robot task planning. To obtain an effective representation of the dynamic environment, our approach integrates humans’ information into a hierarchical scene graph. To ensure the plan’s executability, we leverage LLMs to ground the environmental topology and actionable knowledge into formal planning language. Most importantly, we use LLMs to predict future human activities and plan tasks for the robot considering the predictions. Our contribution facilitates the development of integrating human awareness into LLM-driven robot task planning, and paves the way for proactive robot decision-making in dynamic environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google