Improving Noise Robustness through Abstractions and its Impact on Machine Learning

要約

現実世界のデータにはノイズが多い傾向があるため、ノイズは学習理論の基本的な問題であり、機械学習 (ML) 手法の適用に多大な影響を及ぼします。
さらに、悪意のあるノイズが導入されると、敵対的攻撃の場合と同様に、ML メソッドが重大な失敗を引き起こす可能性があります。
したがって、ノイズに対する堅牢性を向上させる代替手段を見つけて開発することは、ML の基本的な問題です。
この論文では、ノイズに対処する方法、つまりデータ抽象化を使用してノイズの影響を軽減する方法を提案します。
目標は、抽象化によって生成される情報の損失を通じて、モデルのパフォーマンスに対するノイズの影響を軽減することです。
ただし、この情報損失には代償が伴います。情報の欠落により精度が低下する可能性があります。
まず、数値データとバイナリ分類タスクの特定のケースに対して、トレーニング データセットを使用して抽象化を作成するための複数の方法論を検討しました。
また、生データ \emph{vs} を使用してトレーニングした場合と、抽象化されたデータを使用してトレーニングした場合の、人工ニューラル ネットワークのノイズに対する堅牢性を調査するいくつかの実験により、これらの抽象化がノイズに対する堅牢性にどのような影響を与えるかをテストしました。
この結果は、抽象化の使用がノイズに強い ML メソッドを開発するための実行可能なアプローチであることを明確に示しています。

要約(オリジナル)

Noise is a fundamental problem in learning theory with huge effects in the application of Machine Learning (ML) methods, due to real world data tendency to be noisy. Additionally, introduction of malicious noise can make ML methods fail critically, as is the case with adversarial attacks. Thus, finding and developing alternatives to improve robustness to noise is a fundamental problem in ML. In this paper, we propose a method to deal with noise: mitigating its effect through the use of data abstractions. The goal is to reduce the effect of noise over the model’s performance through the loss of information produced by the abstraction. However, this information loss comes with a cost: it can result in an accuracy reduction due to the missing information. First, we explored multiple methodologies to create abstractions, using the training dataset, for the specific case of numerical data and binary classification tasks. We also tested how these abstractions can affect robustness to noise with several experiments that explore the robustness of an Artificial Neural Network to noise when trained using raw data \emph{vs} when trained using abstracted data. The results clearly show that using abstractions is a viable approach for developing noise robust ML methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google