Human Activity Recognition in an Open World

要約

知覚ベースの人間の活動認識 (HAR) で新規性を管理することは、現実的な設定で時間の経過とともにタスクのパフォーマンスを向上させ、以前に見たサンプル以外のソリューションの一般化を確実にするために重要です。
ノベルティは、目に見えないサンプル、アクティビティ、オブジェクト、環境、センサーの変化などとして HAR に現れます。
目新しさは、新しいクラスや新機能などのタスク関連の場合もあれば、これまでに見たことのないノイズ、ぼやけ、または歪んだビデオ録画など、迷惑な目新しさをもたらすタスクと無関係な場合もあります。
HAR を最適に実行するには、アルゴリズム ソリューションが厄介な目新しさに耐性があり、目新しさに直面して時間をかけて学習する必要があります。
この論文では、1) 分類タスクにおけるノベルティの以前の定義に基づいて、HAR におけるノベルティの定義を形式化し、2) インクリメンタル オープン ワールド ラーニング (OWL) プロトコルを提案し、それを Kinetics データセットに適用して、新しいベンチマーク KOWL-718 を生成します。
3) 時間の経過とともに新規性が導入された場合の現在の最先端の HAR モデルのパフォーマンスを分析し、4) OWL プロトコルを再現し、Kinetics の将来の更新に合わせて変更するためのコンテナー化およびパッケージ化されたパイプラインを提供します。
実験的分析には、Kinetics-AVA によって注釈が付けられたさまざまな条件下でさまざまなモデルがどのように機能するかのアブレーション研究が含まれます。
KOWL-718 ベンチマークを使用して実験を再現するためのアルゴリズムとしてのプロトコルは、https://github.com/prijatelj/human-activity-recognition-in-an-open-world でコードとコンテナーと共に公開されます。
このコードは、Kinetics データセットのさまざまな注釈とサブセットをインクリメンタル オープン ワールド方式で分析するために使用できます。また、Kinetics のさらなる更新がリリースされるにつれて拡張することもできます。

要約(オリジナル)

Managing novelty in perception-based human activity recognition (HAR) is critical in realistic settings to improve task performance over time and ensure solution generalization outside of prior seen samples. Novelty manifests in HAR as unseen samples, activities, objects, environments, and sensor changes, among other ways. Novelty may be task-relevant, such as a new class or new features, or task-irrelevant resulting in nuisance novelty, such as never before seen noise, blur, or distorted video recordings. To perform HAR optimally, algorithmic solutions must be tolerant to nuisance novelty, and learn over time in the face of novelty. This paper 1) formalizes the definition of novelty in HAR building upon the prior definition of novelty in classification tasks, 2) proposes an incremental open world learning (OWL) protocol and applies it to the Kinetics datasets to generate a new benchmark KOWL-718, 3) analyzes the performance of current state-of-the-art HAR models when novelty is introduced over time, 4) provides a containerized and packaged pipeline for reproducing the OWL protocol and for modifying for any future updates to Kinetics. The experimental analysis includes an ablation study of how the different models perform under various conditions as annotated by Kinetics-AVA. The protocol as an algorithm for reproducing experiments using the KOWL-718 benchmark will be publicly released with code and containers at https://github.com/prijatelj/human-activity-recognition-in-an-open-world. The code may be used to analyze different annotations and subsets of the Kinetics datasets in an incremental open world fashion, as well as be extended as further updates to Kinetics are released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google