ERR@HRI 2024 Challenge: Multimodal Detection of Errors and Failures in Human-Robot Interactions

要約

ロボット工学と機械学習 (ML) の最近の進歩にもかかわらず、自律型ロボットを日常生活に導入することは依然として未解決の課題です。
これには複数の理由があり、その中には、人の話を遮ったり、反応が遅れたりするなどの頻繁な間違いや、人間の音声を理解する能力が限られている、つまり、音声をテキストに書き写すなどの作業で失敗することが挙げられます。
これらの間違いは相互作用を混乱させ、これらのロボットに対する人間の認識に悪影響を与える可能性があります。
この問題に対処するには、ロボットにはヒューマン・ロボット・インタラクション (HRI) の障害を検出する機能が必要です。
ERR@HRI 2024 チャレンジは、ヒューマン ロボット インタラクション (HRI) 中のロボット障害のベンチマーク マルチモーダル データセットを提供することでこの問題に取り組み、研究者がこれらの障害を検出するマルチモーダル機械学習モデルの開発とベンチマークを奨励します。
私たちは、ロボット コーチとのインタラクションのビデオ クリップからの顔、音声、ポーズの特徴を含む、マルチモーダルな非言語インタラクション データを特徴とするデータセットを作成しました。これには、ロボットのミス、ユーザーのぎこちなさ、インタラクションの中断の有無を示すラベルが注釈として付けられています。
予測モデルのトレーニングと評価用。
チャレンジの参加者は、ロボットのエラーを検出するためにマルチモーダル ML モデルを提出し、精度、精度、再現率、F1 スコアなどのさまざまなパフォーマンス指標に対して、これらの指標の時間依存性を反映する誤差の有無にかかわらず評価されるように招待されています。
。
この課題の結果は、研究分野が人間とロボットの相互作用におけるロボットの失敗をより深く理解し、失敗の検出に成功した後に自身のエラーを軽減できる自律型ロボットを設計するのに役立ちます。

要約(オリジナル)

Despite the recent advancements in robotics and machine learning (ML), the deployment of autonomous robots in our everyday lives is still an open challenge. This is due to multiple reasons among which are their frequent mistakes, such as interrupting people or having delayed responses, as well as their limited ability to understand human speech, i.e., failure in tasks like transcribing speech to text. These mistakes may disrupt interactions and negatively influence human perception of these robots. To address this problem, robots need to have the ability to detect human-robot interaction (HRI) failures. The ERR@HRI 2024 challenge tackles this by offering a benchmark multimodal dataset of robot failures during human-robot interactions (HRI), encouraging researchers to develop and benchmark multimodal machine learning models to detect these failures. We created a dataset featuring multimodal non-verbal interaction data, including facial, speech, and pose features from video clips of interactions with a robotic coach, annotated with labels indicating the presence or absence of robot mistakes, user awkwardness, and interaction ruptures, allowing for the training and evaluation of predictive models. Challenge participants have been invited to submit their multimodal ML models for detection of robot errors and to be evaluated against various performance metrics such as accuracy, precision, recall, F1 score, with and without a margin of error reflecting the time-sensitivity of these metrics. The results of this challenge will help the research field in better understanding the robot failures in human-robot interactions and designing autonomous robots that can mitigate their own errors after successfully detecting them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google