Socially-Aware Robot Navigation Enhanced by Bidirectional Natural Language Conversations Using Large Language Models

要約

ロボットナビゲーションはさまざまなドメインで重要ですが、従来の方法は効率と障害物の回避に焦点を当てており、多くの場合、共有空間で人間の行動を見落としています。
サービスロボットの台頭により、社会的に認識しているナビゲーションが顕著になりました。
ただし、既存のアプローチは、主に歩行者の動きまたは発行アラートを予測し、真の人間とロボットの相互作用を欠いています。
社会的に認識されたナビゲーションのための新しいフレームワークである大規模な言語モデル（HSAC-LLM）を使用して、ハイブリッドソフトアクタークライティックを紹介します。
深い補強学習を大規模な言語モデルと統合することにより、HSAC-LLMは双方向の自然言語相互作用を可能にし、連続的および離散ナビゲーションアクションの両方を予測します。
潜在的な衝突が発生すると、ロボットは歩行者と積極的に通信して回避戦略を決定します。
2Dシミュレーション、ガゼボ、および実際の環境での実験は、HSAC-LLMが相互作用、ナビゲーション、および障害物回避において最先端のDRLメソッドを上回ることを示しています。
このパラダイムは、動的な設定で効果的な人間とロボットの相互作用を進めます。
ビデオはhttps://hsacllm.github.io/で入手できます。

要約(オリジナル)

Robot navigation is crucial across various domains, yet traditional methods focus on efficiency and obstacle avoidance, often overlooking human behavior in shared spaces. With the rise of service robots, socially aware navigation has gained prominence. However, existing approaches primarily predict pedestrian movements or issue alerts, lacking true human-robot interaction. We introduce Hybrid Soft Actor-Critic with Large Language Model (HSAC-LLM), a novel framework for socially aware navigation. By integrating deep reinforcement learning with large language models, HSAC-LLM enables bidirectional natural language interactions, predicting both continuous and discrete navigation actions. When potential collisions arise, the robot proactively communicates with pedestrians to determine avoidance strategies. Experiments in 2D simulation, Gazebo, and real-world environments demonstrate that HSAC-LLM outperforms state-of-the-art DRL methods in interaction, navigation, and obstacle avoidance. This paradigm advances effective human-robot interactions in dynamic settings. Videos are available at https://hsacllm.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google