Hierarchical Randomized Smoothing

要約

実世界のデータは複雑で、多くの場合、複数のエンティティに分解できるオブジェクトで構成されます (例: 画像はピクセルに、グラフは相互接続されたノードに)。
ランダム化スムージングは​​、分類前にノイズをランダムに追加するときに多数決の堅牢性を保証することで、入力への小さな変更に対して堅牢なモデルを作成するための強力なフレームワークです。
しかし、攻撃者がオブジェクト全体 (画像など) を恣意的に乱すのではなく、エンティティのサブセット (ピクセルなど) のみを乱す場合、ランダム化された平滑化を介してそのような複雑なデータに対する堅牢性を証明することは困難です。
解決策として、階層的なランダム化スムージングを導入します。エンティティのランダムに選択されたサブセットにのみランダム ノイズを追加することで、オブジェクトを部分的に平滑化します。
既存の方法よりもターゲットを絞った方法でノイズを追加することで、高い精度を維持しながら、より強力な堅牢性が保証されます。
さまざまなノイズ分布を使用して階層的平滑化を初期化し、離散ドメインと連続ドメインの新しい堅牢性証明書を生成します。
我々は、画像とノードの分類における階層的平滑化の重要性を実験的に実証し、優れた堅牢性と精度のトレードオフをもたらします。
全体として、階層的平滑化は、摂動に対して確実に堅牢であることと正確性の両方を備えたモデルに重要な貢献をします。

要約(オリジナル)

Real-world data is complex and often consists of objects that can be decomposed into multiple entities (e.g. images into pixels, graphs into interconnected nodes). Randomized smoothing is a powerful framework for making models provably robust against small changes to their inputs – by guaranteeing robustness of the majority vote when randomly adding noise before classification. Yet, certifying robustness on such complex data via randomized smoothing is challenging when adversaries do not arbitrarily perturb entire objects (e.g. images) but only a subset of their entities (e.g. pixels). As a solution, we introduce hierarchical randomized smoothing: We partially smooth objects by adding random noise only on a randomly selected subset of their entities. By adding noise in a more targeted manner than existing methods we obtain stronger robustness guarantees while maintaining high accuracy. We initialize hierarchical smoothing using different noising distributions, yielding novel robustness certificates for discrete and continuous domains. We experimentally demonstrate the importance of hierarchical smoothing in image and node classification, where it yields superior robustness-accuracy trade-offs. Overall, hierarchical smoothing is an important contribution towards models that are both – certifiably robust to perturbations and accurate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google