Semantically-Driven Disambiguation for Human-Robot Interaction

要約

人間とロボットのインタラクションでは、特にロボットが広い共同空間でユーザーの指示に従う場合、曖昧さが一般的です。
たとえば、ユーザーがロボットに家庭環境で物体を見つけるように依頼した場合、その物体はそのさまざまな意味特性に応じて複数の場所に存在する可能性があります (たとえば、ボウルは状況に応じてキッチンキャビネットの中にある場合もあれば、ダイニングルームのテーブルの上にある場合もあります)。
きれいか汚れているか、いっぱいか空か、その周りの他のオブジェクトなど）。
オブジェクト セマンティクスに関するこれまでの研究では、曖昧な命令や部分的に理解された命令では失敗する可能性が高い一発推論を使用して、そのような関係を予測していました。
この文書では、このギャップに焦点を当て、そのような不確実性を処理するためにフォローアップの明確化を利用することにより、意味論的に駆動される曖昧さ回避アプローチを提案します。
これを達成するために、まず意味論的な知識の埋め込みを取得し、次にこれらの埋め込みを使用して、反復プロセスに従って明確な質問を生成します。
私たちの方法の評価は、私たちのアプローチがモデルに依存しない、つまり、さまざまな意味論的埋め込みモデルに適用可能であり、フォローアップの明確化により、埋め込みモデルに関係なくパフォーマンスが向上することを示しています。
さらに、当社のアブレーション研究は、システムの精度を向上させるための有益な解明と反復予測の重要性を示しています。

要約(オリジナル)

Ambiguities are common in human-robot interaction, especially when a robot follows user instructions in a large collocated space. For instance, when the user asks the robot to find an object in a home environment, the object might be in several places depending on its varying semantic properties (e.g., a bowl can be in the kitchen cabinet or on the dining room table, depending on whether it is clean/dirty, full/empty and the other objects around it). Previous works on object semantics have predicted such relationships using one shot-inferences which are likely to fail for ambiguous or partially understood instructions. This paper focuses on this gap and suggests a semantically-driven disambiguation approach by utilizing follow-up clarifications to handle such uncertainties. To achieve this, we first obtain semantic knowledge embeddings, and then these embeddings are used to generate clarifying questions by following an iterative process. The evaluation of our method shows that our approach is model agnostic, i.e., applicable to different semantic embedding models, and follow-up clarifications improve the performance regardless of the embedding model. Additionally, our ablation studies show the significance of informative clarifications and iterative predictions to enhance system accuracies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google