Navigating to Success in Multi-Modal Human-Robot Collaboration: Analysis and Corpus Release

要約

人間によるロボットによる探索は、遠隔地、特に危険が多すぎたり、人を寄せ付けない場所、または人間がアクセスできない場所で情報を収集するための有用なアプローチです。
遠隔地にあるパートナー間で共通点を維持することは課題ですが、マルチモーダルなコミュニケーションによって容易に解決できます。
この論文では、参加者がロボット パートナーの助けを借りて遠隔地を調査するために複数のモダリティをどのように利用したかを調査します。
参加者は自然言語による音声指示を発し、ロボットからテキストベースのフィードバック、継続的な 2D LIDAR マッピング、およびリクエストに応じた静止写真を受け取りました。
私たちは、モダリティの使用に関して異なる戦略が採用されていることに気づき、これらの違いがいくつかの探査サブタスクの成功と相関している可能性があると仮説を立てました。
私たちは、写真をリクエストすることで一部の主要な存在物 (特に出入り口) の識別と数のカウントを改善した可能性があり、この戦略がエリア全体の探索量を妨げるものではないことを発見しました。
より大きなサンプルを用いた今後の研究では、より微妙な写真と対話戦略の効果が明らかになり、ロボットエージェントのトレーニングに情報を提供できる可能性があります。
さらに、探索コンテキストにおける人間とロボットのコミュニケーションに関する独自のマルチモーダル コーパス、SCOUT (トランザクション理解に関する位置コーパス) のリリースを発表します。

要約(オリジナル)

Human-guided robotic exploration is a useful approach to gathering information at remote locations, especially those that might be too risky, inhospitable, or inaccessible for humans. Maintaining common ground between the remotely-located partners is a challenge, one that can be facilitated by multi-modal communication. In this paper, we explore how participants utilized multiple modalities to investigate a remote location with the help of a robotic partner. Participants issued spoken natural language instructions and received from the robot: text-based feedback, continuous 2D LIDAR mapping, and upon-request static photographs. We noticed that different strategies were adopted in terms of use of the modalities, and hypothesize that these differences may be correlated with success at several exploration sub-tasks. We found that requesting photos may have improved the identification and counting of some key entities (doorways in particular) and that this strategy did not hinder the amount of overall area exploration. Future work with larger samples may reveal the effects of more nuanced photo and dialogue strategies, which can inform the training of robotic agents. Additionally, we announce the release of our unique multi-modal corpus of human-robot communication in an exploration context: SCOUT, the Situated Corpus on Understanding Transactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google