A General Framework for Learning under Corruption: Label Noise, Attribute Noise, and Beyond

要約

破損は収集されたデータで頻繁に観察され、さまざまな破損モデルに基づいた機械学習で広範に研究されています。
それにもかかわらず、これらのモデルがどのように関連するかについては依然として限られた理解があり、破損とその学習への影響についての統一された見解がまだ不足しています。
この研究では、マルコフ カーネルに基づく一般的で網羅的なフレームワークを通じて、配布レベルで破損モデルを正式に分析します。
私たちは、既存の研究ではほとんど触れられていない、ラベルと属性の両方に複雑な共同破損と依存破損が存在することを強調します。
さらに、結果として生じるベイズ リスクの変化を分析することで、これらの破損が標準の教師あり学習にどのような影響を与えるかを示します。
私たちの調査結果は、学習問題に対する「より複雑な」破損の影響についての定性的な洞察を提供し、将来の定量的な比較の基礎を提供します。
このフレームワークのアプリケーションには破損修正学習が含まれます。この論文では、さまざまな破損インスタンスに関する損失修正を理論的に分析することでそのサブケースを研究します。

要約(オリジナル)

Corruption is frequently observed in collected data and has been extensively studied in machine learning under different corruption models. Despite this, there remains a limited understanding of how these models relate such that a unified view of corruptions and their consequences on learning is still lacking. In this work, we formally analyze corruption models at the distribution level through a general, exhaustive framework based on Markov kernels. We highlight the existence of intricate joint and dependent corruptions on both labels and attributes, which are rarely touched by existing research. Further, we show how these corruptions affect standard supervised learning by analyzing the resulting changes in Bayes Risk. Our findings offer qualitative insights into the consequences of ‘more complex’ corruptions on the learning problem, and provide a foundation for future quantitative comparisons. Applications of the framework include corruption-corrected learning, a subcase of which we study in this paper by theoretically analyzing loss correction with respect to different corruption instances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google