PREGO: online mistake detection in PRocedural EGOcentric videos

要約

オンライン環境で自己中心的なビデオから手順上のエラーを迅速に特定することは非常に困難ですが、間違いが発生したときにすぐに検出するためには価値があります。
この機能は、製造や医療などのさまざまな分野に幅広く応用できます。
新しいタイプの失敗が発生する可能性があるため、手順上の間違いの性質はオープンセットであり、正しく実行された手順に基づいてトレーニングされた 1 クラスの分類子が必要です。
ただし、現時点ではオンラインでオープンセットの手続き上の間違いを検出できる技術はありません。
私たちは、PROcedural EGOcentric ビデオにおける間違い検出のための初のオンライン 1 クラス分類モデルである PREGO を提案します。
PREGO は、現在のアクションをモデル化するオンライン アクション認識コンポーネントと、次のアクションを予測する記号推論モジュールに基づいています。
誤り検出は、認識された現在の行動と予想される将来の行動を比較することによって行われます。
私たちは、2 つの手続き型自己中心ビデオ データセット、Assembly101 と Epic-tent で PREGO を評価します。これを手続き型ミス検出のオンライン ベンチマークに適応させて、適切なベンチマークを確立し、それぞれ Assembly101-O データセットと Epic-tent-O データセットを定義します。

要約(オリジナル)

Promptly identifying procedural errors from egocentric videos in an online setting is highly challenging and valuable for detecting mistakes as soon as they happen. This capability has a wide range of applications across various fields, such as manufacturing and healthcare. The nature of procedural mistakes is open-set since novel types of failures might occur, which calls for one-class classifiers trained on correctly executed procedures. However, no technique can currently detect open-set procedural mistakes online. We propose PREGO, the first online one-class classification model for mistake detection in PRocedural EGOcentric videos. PREGO is based on an online action recognition component to model the current action, and a symbolic reasoning module to predict the next actions. Mistake detection is performed by comparing the recognized current action with the expected future one. We evaluate PREGO on two procedural egocentric video datasets, Assembly101 and Epic-tent, which we adapt for online benchmarking of procedural mistake detection to establish suitable benchmarks, thus defining the Assembly101-O and Epic-tent-O datasets, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google