A trained humanoid robot can perform human-like crossmodal social attention and conflict resolution

要約

人間とロボットの社会的相互作用を強化するには、ロボットが複雑な現実世界の環境で複数の社会的合図を処理することが不可欠です。
ただし、モダリティ間の入力情報の不一致は避けられず、ロボットの処理が困難になる可能性があります。
この課題に取り組むために、私たちの研究では、ロボットに人間のような社会的注意を表現させるために、クロスモーダルな競合解決のニューロロボティクス パラダイムを採用しました。
生態学的妥当性を改善するために、3 つのアニメーション化されたアバターを使用した円卓会議シナリオを設計しました。
各アバターは、鼻、口、顎の顔の手がかりを隠すために医療用マスクを着用しました。
中央のアバターは視線を移動させ、周辺のアバターは音を出しました。
視線の方向と音の位置は、空間的に合同または不一致のいずれかでした。
中央のアバターの動的な視線が、クロスモーダルな社会的注意反応を引き起こす可能性があることを観察しました。
特に、人間のパフォーマンスは、不一致条件よりも一致した視聴覚条件の下で優れています。
私たちの顕著性予測モデルは、社会的合図を検出し、オーディオビジュアルの顕著性を予測し、ロボット研究に選択的に参加するようにトレーニングされました。
トレーニング済みのモデルを iCub に取り付けた後、ロボットは人体実験と同様の実験室条件にさらされました。
人間のパフォーマンスは全体的に優れていましたが、訓練されたモデルは、人間と同様の注意反応を再現できることを示しました.

要約(オリジナル)

To enhance human-robot social interaction, it is essential for robots to process multiple social cues in a complex real-world environment. However, incongruency of input information across modalities is inevitable and could be challenging for robots to process. To tackle this challenge, our study adopted the neurorobotic paradigm of crossmodal conflict resolution to make a robot express human-like social attention.} A behavioural experiment was conducted on 37 participants for the human study. We designed a round-table meeting scenario with three animated avatars to improve ecological validity. Each avatar wore a medical mask to obscure the facial cues of the nose, mouth, and jaw. The central avatar shifted its eye gaze while the peripheral avatars generated sound. Gaze direction and sound locations were either spatially congruent or incongruent. We observed that the central avatar’s dynamic gaze could trigger crossmodal social attention responses. In particular, human performances are better under the congruent audio-visual condition than the incongruent condition. Our saliency prediction model was trained to detect social cues, predict audio-visual saliency, and attend selectively for the robot study. After mounting the trained model on the iCub, the robot was exposed to laboratory conditions similar to the human experiment. While the human performances were overall superior, our trained model demonstrated that it could replicate attention responses similar to humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google