A Multi-Modal Explainability Approach for Human-Aware Robots in Multi-Party Conversation

要約

宛先の推定（誰かが話している人への理解）は、マルチパーティの会話シナリオにおける人間の活動認識の基本的なタスクです。
具体的には、人間とロボットの相互作用の分野では、ソーシャルロボットがこのようなインタラクティブなコンテキストに参加できるようにすることがさらに重要になります。
ただし、通常、バイナリ分類タスクとして実装されており、ロボットの能力を制限して、\ Review {かどうかにかかわらず、インタラクティブなスキルを制限します。
ソーシャルロボットが人間の信頼を獲得するためには、ある程度の透明性と説明可能性を明示することも重要です。
したがって、説明可能な人工知能は、現在の機械学習アプリケーションとモデルにおいて重要な役割を果たし、優れたパフォーマンス以外に決定の説明を提供します。
私たちの仕事では、a）以前の最先端と比較して、パフォーマンスが向上した宛先推定モデルを提示します。
b）このモデルをさらに変更して、本質的に説明可能な注意ベースのセグメントを含める。
c）ICUBロボットでのマルチパーティ会話のモジュール認知アーキテクチャの一部として、説明可能な宛先推定を実装します。
d）マルチパーティの人間ロボット相互作用における説明可能なモデルのリアルタイムパフォーマンスを検証します。
e）前述のアーキテクチャに説明可能性と透明性を組み込むいくつかの方法を提案する。
f）オンラインユーザー調査を実行して、人間の参加者がロボットをどのように認識しているかについてのさまざまな説明の効果を分析します。

要約(オリジナル)

The addressee estimation (understanding to whom somebody is talking) is a fundamental task for human activity recognition in multi-party conversation scenarios. Specifically, in the field of human-robot interaction, it becomes even more crucial to enable social robots to participate in such interactive contexts. However, it is usually implemented as a binary classification task, restricting the robot’s capability to estimate whether it was addressed \review{or not, which} limits its interactive skills. For a social robot to gain the trust of humans, it is also important to manifest a certain level of transparency and explainability. Explainable artificial intelligence thus plays a significant role in the current machine learning applications and models, to provide explanations for their decisions besides excellent performance. In our work, we a) present an addressee estimation model with improved performance in comparison with the previous state-of-the-art; b) further modify this model to include inherently explainable attention-based segments; c) implement the explainable addressee estimation as part of a modular cognitive architecture for multi-party conversation in an iCub robot; d) validate the real-time performance of the explainable model in multi-party human-robot interaction; e) propose several ways to incorporate explainability and transparency in the aforementioned architecture; and f) perform an online user study to analyze the effect of various explanations on how human participants perceive the robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google