Exploring Video-Based Driver Activity Recognition under Noisy Labels

要約

深い学習の分野でのオープンな研究トピックとして、騒々しいラベルを使用した学習は多くの注目を集め、過去10年間で急速に成長しました。
実世界のビデオデータには誤ったラベル付けされたサンプルが含まれており、モデルの信頼性とパフォーマンスに影響を与えることが多いため、ラベルノイズでの学習はドライバーの注意散漫行動の認識にとって重要です。
ただし、ラベルノイズ学習は、ドライバーアクティビティ認識フィールドではほとんど調査されていません。
この論文では、ドライバーアクティビティ認識タスクの最初のラベルノイズ学習アプローチを提案します。
クラスターの仮定に基づいて、最初にモデルが指定されたビデオからクラスタリングに優しい低次元表現を学習し、結果の埋め込みをクラスターに割り当てることができます。
その後、各クラスター内で共再配分を実行して、分類器の出力を滑らかにします。
さらに、トレーニングデータセットからクリーンサンプルをフィルタリングするためにハイパーパラメーターに依存することなく、2つの選択基準を組み合わせた柔軟なサンプル選択戦略を提案します。
また、クラス全体のバランスを実施するために、サンプル選択プロセスに自己適応パラメーターを組み込みます。
すべての粒度レベルのパブリックドライブおよびACTデータセットでの包括的なさまざまな実験は、画像分類フィールドから導出された他のラベルデノージング方法と比較して、私たちの方法の優れた性能を示しています。
ソースコードは、https：//github.com/ilonafan/dar-noisy-labelsで入手できます。

要約(オリジナル)

As an open research topic in the field of deep learning, learning with noisy labels has attracted much attention and grown rapidly over the past ten years. Learning with label noise is crucial for driver distraction behavior recognition, as real-world video data often contains mislabeled samples, impacting model reliability and performance. However, label noise learning is barely explored in the driver activity recognition field. In this paper, we propose the first label noise learning approach for the driver activity recognition task. Based on the cluster assumption, we initially enable the model to learn clustering-friendly low-dimensional representations from given videos and assign the resultant embeddings into clusters. We subsequently perform co-refinement within each cluster to smooth the classifier outputs. Furthermore, we propose a flexible sample selection strategy that combines two selection criteria without relying on any hyperparameters to filter clean samples from the training dataset. We also incorporate a self-adaptive parameter into the sample selection process to enforce balancing across classes. A comprehensive variety of experiments on the public Drive&Act dataset for all granularity levels demonstrates the superior performance of our method in comparison with other label-denoising methods derived from the image classification field. The source code is available at https://github.com/ilonafan/DAR-noisy-labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google