SRLM: Human-in-Loop Interactive Social Robot Navigation with Large Language Model and Deep Reinforcement Learning

要約

インタラクティブなソーシャル ロボット アシスタントは、リアルタイムの人間の言語コマンドやフィードバックに基づいて動作を適応させながら、複雑で混雑した空間でサービスを提供する必要があります。
この論文では、ソーシャル ロボット プランナー (SRLM) と呼ばれる新しいハイブリッド アプローチを提案します。これは、大規模言語モデル (LLM) と深層強化学習 (DRL) を統合して、人間があふれる公共空間を移動し、複数のソーシャル サービスを提供します。
SRLM は、リアルタイムでヒューマン イン ループ コマンドからグローバル プランニングを推論し、低レベルのモーション実行のためにソーシャル情報を LLM ベースのラージ ナビゲーション モデル (LNM) にエンコードします。
さらに、DRL ベースのプランナーは、ベンチマーク パフォーマンスを維持するように設計されており、現在のテキストと LLM 駆動の LNM の不安定性に対処するために、ラージ フィードバック モデル (LFM) によって LNM とブレンドされます。
最後に、SRLM は広範な実験で優れたパフォーマンスを実証します。
この取り組みの詳細については、https://sites.google.com/view/navi-srlm をご覧ください。

要約(オリジナル)

An interactive social robotic assistant must provide services in complex and crowded spaces while adapting its behavior based on real-time human language commands or feedback. In this paper, we propose a novel hybrid approach called Social Robot Planner (SRLM), which integrates Large Language Models (LLM) and Deep Reinforcement Learning (DRL) to navigate through human-filled public spaces and provide multiple social services. SRLM infers global planning from human-in-loop commands in real-time, and encodes social information into a LLM-based large navigation model (LNM) for low-level motion execution. Moreover, a DRL-based planner is designed to maintain benchmarking performance, which is blended with LNM by a large feedback model (LFM) to address the instability of current text and LLM-driven LNM. Finally, SRLM demonstrates outstanding performance in extensive experiments. More details about this work are available at: https://sites.google.com/view/navi-srlm

arxiv情報

提供元, 利用サービス

arxiv.jp, Google