AugLoss: A Learning Methodology for Real-World Dataset Corruption

要約

ディープラーニング（DL）モデルは、多くのドメインで大きな成功を収めています。しかし、DLモデルは、トレーニング段階でのノイズの多いラベリングやテスト段階での特徴分布のずれなど、安全性とロバスト性の懸念にますます直面するようになっています。これまでの研究では、これらの問題への対処が大きく進展しましたが、一度に1つの問題のみに対する解決策の開発に焦点が当てられていることがほとんどでした。例えば、最近の研究では、ラベルノイズを軽減するために調整可能なロバスト損失関数を使用し、分布シフトに対抗するためにデータ増強（例えば、AugMix）を主張することがある。この2つの問題を同時に解決するためのステップとして、我々は、データ拡張とロバスト損失関数を統合することにより、訓練時のノイズラベリングとテスト時の特徴分布シフトの両方に対する頑健性を実現するシンプルかつ効果的な手法であるAugLossを紹介する。我々は、実世界のデータ破損の様々な設定で包括的な実験を行い、AugLossが従来の最先端手法と比較して達成した利点を紹介する。最後に、この研究が、実世界の破損の下でより頑健で信頼性の高いDLモデルを設計するための新しい方向性を開くことを期待する。

要約(オリジナル)

Deep Learning (DL) models achieve great successes in many domains. However, DL models increasingly face safety and robustness concerns, including noisy labeling in the training stage and feature distribution shifts in the testing stage. Previous works made significant progress in addressing these problems, but the focus has largely been on developing solutions for only one problem at a time. For example, recent work has argued for the use of tunable robust loss functions to mitigate label noise, and data augmentation (e.g., AugMix) to combat distribution shifts. As a step towards addressing both problems simultaneously, we introduce AugLoss, a simple but effective methodology that achieves robustness against both train-time noisy labeling and test-time feature distribution shifts by unifying data augmentation and robust loss functions. We conduct comprehensive experiments in varied settings of real-world dataset corruption to showcase the gains achieved by AugLoss compared to previous state-of-the-art methods. Lastly, we hope this work will open new directions for designing more robust and reliable DL models under real-world corruptions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL