Intriguing Properties of Input-dependent Randomized Smoothing

要約

ランダム化平滑化は、現在、保証された堅牢な分類器を取得するための最先端の方法と考えられています。
その優れたパフォーマンスにもかかわらず、この方法には、「認定された精度のウォーターフォール」、認定と精度のトレードオフ、さらには公平性の問題など、さまざまな深刻な問題が伴います。
これらの欠点を克服する目的で、入力依存の平滑化アプローチが提案されています。
ただし、これらの方法には正式な保証がないため、結果として得られる証明書が正当なものではないことを示します。
一般に、入力依存の平滑化は次元性の呪いに悩まされ、分散関数の半弾性が低くなることを示します。
一方、私たちは、次元の呪いが存在する場合でも、厳しい制限の下で、入力依存の平滑化の使用を可能にする理論的かつ実践的なフレームワークを提供します。
平滑化分散関数の 1 つの具体的な設計を提示し、CIFAR10 と MNIST でテストします。
私たちの設計は古典的なスムージングの問題の一部を軽減しており、正式に強調されていますが、設計のさらなる改善がまだ必要です。

要約(オリジナル)

Randomized smoothing is currently considered the state-of-the-art method to obtain certifiably robust classifiers. Despite its remarkable performance, the method is associated with various serious problems such as ‘certified accuracy waterfalls’, certification vs.\ accuracy trade-off, or even fairness issues. Input-dependent smoothing approaches have been proposed with intention of overcoming these flaws. However, we demonstrate that these methods lack formal guarantees and so the resulting certificates are not justified. We show that in general, the input-dependent smoothing suffers from the curse of dimensionality, forcing the variance function to have low semi-elasticity. On the other hand, we provide a theoretical and practical framework that enables the usage of input-dependent smoothing even in the presence of the curse of dimensionality, under strict restrictions. We present one concrete design of the smoothing variance function and test it on CIFAR10 and MNIST. Our design mitigates some of the problems of classical smoothing and is formally underlined, yet further improvement of the design is still necessary.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google