Input-gradient space particle inference for neural network ensembles

要約

ディープ アンサンブル (DE) は、その機能の多様性により、単一ニューラル ネットワーク上の精度、キャリブレーション、および摂動に対する堅牢性の向上を実証します。
粒子ベースの変分推論 (ParVI) 手法は、ネットワーク類似性カーネルに基づいて反発項を形式化することで多様性を強化します。
ただし、重み空間反発は過剰なパラメータ化により非効率的ですが、直接関数空間反発は DE に比べてほとんど改善が見られないことがわかっています。
これらの困難を回避するために、私たちは、一次入力勾配の空間で反発を実行する ParVI に基づくアンサンブル学習方法である一次反発ディープ アンサンブル (FoRDE) を提案します。
入力勾配は平行移動までの関数を一意に特徴付け、次元が重みよりもはるかに小さいため、この方法ではアンサンブル メンバーが機能的に異なることが保証されます。
直感的には、入力勾配を多様化すると、各ネットワークが異なる特徴を学習することが促進され、アンサンブルの堅牢性が向上すると期待されます。
画像分類データセットと転移学習タスクに関する実験では、入力摂動による共変量シフト下での精度とキャリブレーションにおいて、FoRDE がゴールドスタンダード DE や他のアンサンブル手法よりも大幅に優れていることが示されています。

要約(オリジナル)

Deep Ensembles (DEs) demonstrate improved accuracy, calibration and robustness to perturbations over single neural networks partly due to their functional diversity. Particle-based variational inference (ParVI) methods enhance diversity by formalizing a repulsion term based on a network similarity kernel. However, weight-space repulsion is inefficient due to over-parameterization, while direct function-space repulsion has been found to produce little improvement over DEs. To sidestep these difficulties, we propose First-order Repulsive Deep Ensemble (FoRDE), an ensemble learning method based on ParVI, which performs repulsion in the space of first-order input gradients. As input gradients uniquely characterize a function up to translation and are much smaller in dimension than the weights, this method guarantees that ensemble members are functionally different. Intuitively, diversifying the input gradients encourages each network to learn different features, which is expected to improve the robustness of an ensemble. Experiments on image classification datasets and transfer learning tasks show that FoRDE significantly outperforms the gold-standard DEs and other ensemble methods in accuracy and calibration under covariate shift due to input perturbations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google