Skeleton-Based Human Action Recognition with Noisy Labels

要約

人間と空間を共有する支援ロボットにとって、次のインタラクションについて情報に基づいた安全な決定を下すためには、体の姿勢から人間の行動を理解することが重要です。
ただし、アクティビティ シーケンスの正確な時間的位置特定と注釈付けには時間がかかり、結果として得られるラベルにはノイズが多くなることがよくあります。
ラベル ノイズに効果的に対処しないと、モデルのトレーニングに悪影響が生じ、認識品質が低下します。
その重要性にもかかわらず、スケルトンベースのアクション認識のためのラベルノイズへの対処はこれまで見落とされてきました。
この研究では、確立されたスケルトンベースの人間の行動認識手法を、最初のベンチマークとして機能するさまざまな研究分野のラベルノイズ除去戦略で強化するフレームワークを実装することで、このギャップを埋めます。
観察の結果、まばらなスケルトン データを処理する場合、これらのベースラインでは限界的なパフォーマンスしか得られないことがわかりました。
その結果、ラベルノイズの悪影響を軽減することを目的として、グローバルサンプル選択、共同指導、およびクロスモーダル専門家混合（CM-MOE）戦略を統合する新しい方法論であるNoiseEraSARを導入します。
私たちが提案するアプローチは、確立されたベンチマークでより優れたパフォーマンスを示し、新しい最先端の基準を設定します。
この調査のソース コードは、https://github.com/xuyizdby/NoiseEraSAR からアクセスできるようになります。

要約(オリジナル)

Understanding human actions from body poses is critical for assistive robots sharing space with humans in order to make informed and safe decisions about the next interaction. However, precise temporal localization and annotation of activity sequences is time-consuming and the resulting labels are often noisy. If not effectively addressed, label noise negatively affects the model’s training, resulting in lower recognition quality. Despite its importance, addressing label noise for skeleton-based action recognition has been overlooked so far. In this study, we bridge this gap by implementing a framework that augments well-established skeleton-based human action recognition methods with label-denoising strategies from various research areas to serve as the initial benchmark. Observations reveal that these baselines yield only marginal performance when dealing with sparse skeleton data. Consequently, we introduce a novel methodology, NoiseEraSAR, which integrates global sample selection, co-teaching, and Cross-Modal Mixture-of-Experts (CM-MOE) strategies, aimed at mitigating the adverse impacts of label noise. Our proposed approach demonstrates better performance on the established benchmark, setting new state-of-the-art standards. The source code for this study will be made accessible at https://github.com/xuyizdby/NoiseEraSAR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google