要約
この論文では、スマートグラスにおけるユーザー支援を進化させるための重要なコンポーネントである視線信号の分析を通じて、自己中心的なビデオにおける教師なしの間違い検出の課題に取り組みます。
従来の教師あり手法は、手動でラベル付けされた間違いに依存しており、ドメイン依存性とスケーラビリティの問題に悩まされています。
この研究では、人間の活動のビデオ内の間違いを検出するための教師なし手法を導入し、ドメイン固有の要件と注釈付きデータの必要性という課題を克服します。
タスク中にユーザーの見当識障害を示す異常な視線パターンを分析することにより、不完全な入力から視線の軌跡を予測する視線完了モデルを提案します。
予測された視線経路と観察された視線経路との違いは、エラーを特定するための指標として機能します。
私たちの手法は EPIC-Tent データセットで検証されており、現在の 1 クラスの教師ありおよび教師なし手法と比較してその優位性が示されています。
要約(オリジナル)
In this paper, we address the challenge of unsupervised mistake detection in egocentric video through the analysis of gaze signals, a critical component for advancing user assistance in smart glasses. Traditional supervised methods, reliant on manually labeled mistakes, suffer from domain-dependence and scalability issues. This research introduces an unsupervised method for detecting mistakes in videos of human activities, overcoming the challenges of domain-specific requirements and the necessity for annotated data. By analyzing unusual gaze patterns that signal user disorientation during tasks, we propose a gaze completion model that forecasts eye gaze trajectories from incomplete inputs. The difference between the anticipated and observed gaze paths acts as an indicator for identifying errors. Our method is validated on the EPIC-Tent dataset, showing its superiority compared to current one-class supervised and unsupervised techniques.
arxiv情報
| 著者 | Michele Mazzamuto,Antonino Furnari,Giovanni Maria Farinella |
| 発行日 | 2024-06-12 16:29:45+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google