Human-Robot Dialogue Annotation for Multi-Modal Common Ground

要約

この論文では、協調的な自然言語対話に参加する自律システムが意味の次元にアクセスできるようにし、人間のパートナーとの共通点を可能にする、人間とロボットの対話データに注釈を付けた記号表現の開発について説明します。
共通点を確立するための特別な課題は、人間とロボットがなじみのない環境での共同ナビゲーションと探索タスクに従事するリモート対話 (災害救助や捜索救助活動で発生) で発生しますが、ロボットはすぐにそれを行うことができません。
通信上の制約が限られているため、高品質の視覚情報を共有できません。
対話に参加することはコミュニケーションの効果的な方法を提供しますが、オンデマンドまたは低品質の視覚情報を補充して共通点を確立することもできます。
このパラダイム内で、抽象意味表現の拡張である Dialogue-AMR アノテーションを通じて、対話内の 1 つの発話の命題意味論と非言語的力を捕捉します。
次に、複数フロアの対話構造アノテーション スキーマの開発において、話者フロア内および話者フロア全体でのさまざまな発話が互いにどのように関係するかというパターンを捕捉します。
最後に、共同作業者の環境理解の格差を克服するために、視覚的モダリティが対話に文脈情報を提供する方法について注釈を付け、分析し始めます。
最後に、物理ロボットが双方向の対話とナビゲーションで人間と自律的に関わることを可能にする、アノテーションから実装したユースケース、アーキテクチャ、システムについて説明します。

要約(オリジナル)

In this paper, we describe the development of symbolic representations annotated on human-robot dialogue data to make dimensions of meaning accessible to autonomous systems participating in collaborative, natural language dialogue, and to enable common ground with human partners. A particular challenge for establishing common ground arises in remote dialogue (occurring in disaster relief or search-and-rescue tasks), where a human and robot are engaged in a joint navigation and exploration task of an unfamiliar environment, but where the robot cannot immediately share high quality visual information due to limited communication constraints. Engaging in a dialogue provides an effective way to communicate, while on-demand or lower-quality visual information can be supplemented for establishing common ground. Within this paradigm, we capture propositional semantics and the illocutionary force of a single utterance within the dialogue through our Dialogue-AMR annotation, an augmentation of Abstract Meaning Representation. We then capture patterns in how different utterances within and across speaker floors relate to one another in our development of a multi-floor Dialogue Structure annotation schema. Finally, we begin to annotate and analyze the ways in which the visual modalities provide contextual information to the dialogue for overcoming disparities in the collaborators’ understanding of the environment. We conclude by discussing the use-cases, architectures, and systems we have implemented from our annotations that enable physical robots to autonomously engage with humans in bi-directional dialogue and navigation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google