Efficient Estimation of Average-Case Robustness for Multi-Class Classification

要約

機械学習のロバスト性は通常、敵対的な設定で研究されますが、現実世界のノイズ (測定ノイズなど) は敵対的なものではなくランダムです。
このようなノイズの下でのモデルの動作は、平均的な場合のロバスト性、つまり入力の周囲の局所領域で一貫した予測が得られる確率によって捕捉されます。
ただし、モンテカルロ サンプリングに基づいて平均的なケースの堅牢性を計算する単純なアプローチは、特に高次元データの場合、統計的に非効率的であり、大規模なアプリケーションでは法外な計算コストにつながります。
この研究では、マルチクラス識別モデルの平均的な場合のロバスト性を効率的に計算するための最初の分析推定器を開発します。
これらの推定器は、入力の周囲の局所領域でモデルを線形化し、結果として得られる線形モデルの堅牢性を分析的に計算します。
我々は、これらの推定器が標準的な深層学習モデルの堅牢性を効率的に計算することを経験的に示し、堅牢性バイアスの測定やノイズ摂動に対して脆弱なデータセットサンプルの特定など、堅牢性に関わるさまざまなタスクに対するこれらの推定器の有用性を実証します。
そうすることで、この研究は堅牢性のための新しいフレームワークを提案するだけでなく、その計算を実用化し、下流のアプリケーションで平均的な場合の堅牢性を使用できるようにします。

要約(オリジナル)

Robustness in machine learning is commonly studied in the adversarial setting, yet real-world noise (such as measurement noise) is random rather than adversarial. Model behavior under such noise is captured by average-case robustness, i.e., the probability of obtaining consistent predictions in a local region around an input. However, the na\’ive approach to computing average-case robustness based on Monte-Carlo sampling is statistically inefficient, especially for high-dimensional data, leading to prohibitive computational costs for large-scale applications. In this work, we develop the first analytical estimators to efficiently compute average-case robustness of multi-class discriminative models. These estimators linearize models in the local region around an input and analytically compute the robustness of the resulting linear models. We show empirically that these estimators efficiently compute the robustness of standard deep learning models and demonstrate these estimators’ usefulness for various tasks involving robustness, such as measuring robustness bias and identifying dataset samples that are vulnerable to noise perturbation. In doing so, this work not only proposes a new framework for robustness, but also makes its computation practical, enabling the use of average-case robustness in downstream applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google