A Study on Domain Generalization for Failure Detection through Human Reactions in HRI

要約

機械学習モデルは通常、分散内 (同じデータセット) でテストされます。
配布外の設定では、ほとんどの場合パフォーマンスが低下します。
HRI 研究の場合、多くの場合、目標は一般化されたモデルを開発することです。
このため、ドメインの一般化、つまりさまざまな設定でのパフォーマンスの維持が重要な問題となります。
この研究では、人間の顔の表情で訓練された障害検出モデルにおける領域一般化の簡潔な分析を紹介します。
エラーが発生したビデオに人間が反応する 2 つの異なるデータセット (1 つは管理されたラボ設定からのもので、もう 1 つはオンラインで収集したもの) を使用して、各データセットで深層学習モデルをトレーニングしました。
代替データセットでこれらのモデルをテストすると、大幅なパフォーマンスの低下が観察されました。
観察されたモデルの動作の原因を考察し、推奨事項を残します。
この研究は、モデルの堅牢性と実際の適用可能性の向上に焦点を当てた HRI 研究の必要性を強調しています。

要約(オリジナル)

Machine learning models are commonly tested in-distribution (same dataset); performance almost always drops in out-of-distribution settings. For HRI research, the goal is often to develop generalized models. This makes domain generalization – retaining performance in different settings – a critical issue. In this study, we present a concise analysis of domain generalization in failure detection models trained on human facial expressions. Using two distinct datasets of humans reacting to videos where error occurs, one from a controlled lab setting and another collected online, we trained deep learning models on each dataset. When testing these models on the alternate dataset, we observed a significant performance drop. We reflect on the causes for the observed model behavior and leave recommendations. This work emphasizes the need for HRI research focusing on improving model robustness and real-life applicability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google