Input Space Mode Connectivity in Deep Neural Networks

要約

ロスランドスケープモード接続の概念をディープニューラルネットワークの入力空間に拡張します。
モード接続性はもともとパラメータ空間内で研究され、勾配降下法によって得られる異なるソリューション間の低損失パス (損失ミニマイザー) の存在を記述します。
我々は、ディープネットワークの入力空間におけるその存在の理論的および経験的証拠を提示し、それによってこの現象のより広範な性質を強調します。
同様の予測を持つ異なる入力画像が一般に接続されており、トレーニングされたモデルの場合、パスは単純になる傾向があり、線形パスからの逸脱はわずかであることがわかります。
私たちの手法では、特徴の視覚化のための入力最適化手法を使用して作成された実入力、補間入力、および合成入力を利用します。
私たちは、高次元空間における入力空間モードの接続性は、トレーニングされていないモデルでも発生する幾何学的効果であり、パーコレーション理論を通じて説明できると推測しています。
モード接続を活用して、敵対的な例に関する新しい洞察を取得し、敵対的検出の可能性を実証します。
さらに、ディープネットワークの解釈可能性のためのアプリケーションについても説明します。

要約(オリジナル)

We extend the concept of loss landscape mode connectivity to the input space of deep neural networks. Mode connectivity was originally studied within parameter space, where it describes the existence of low-loss paths between different solutions (loss minimizers) obtained through gradient descent. We present theoretical and empirical evidence of its presence in the input space of deep networks, thereby highlighting the broader nature of the phenomenon. We observe that different input images with similar predictions are generally connected, and for trained models, the path tends to be simple, with only a small deviation from being a linear path. Our methodology utilizes real, interpolated, and synthetic inputs created using the input optimization technique for feature visualization. We conjecture that input space mode connectivity in high-dimensional spaces is a geometric effect that takes place even in untrained models and can be explained through percolation theory. We exploit mode connectivity to obtain new insights about adversarial examples and demonstrate its potential for adversarial detection. Additionally, we discuss applications for the interpretability of deep networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google