Greedy Bayesian Posterior Approximation with Deep Ensembles

要約

独立してトレーニングされたニューラルネットワークのアンサンブルは、ディープラーニングの予測の不確実性を推定するための最先端のアプローチであり、デルタ関数の混合による事後分布の近似として解釈できます。
アンサンブルのトレーニングは、損失ランドスケープの非凸性と個々のメンバーのランダムな初期化に依存しているため、結果として得られる事後近似は制御されません。
この論文は、この制限に取り組むための斬新で原理的な方法を提案し、関数空間における真の事後推定器（KDE）とカーネル密度推定器（KDE）の間の$f$-発散を最小化します。
この目的を組み合わせの観点から分析し、任意の$f$の混合成分に関して劣モジュラであることを示します。
続いて、貪欲なアンサンブル構築の問題について考察します。
KDEに新しいコンポーネントを追加することによって得られる事後近似の改善を定量化する負の$f$-divergenceの限界利益から、アンサンブル法の新しい多様性項を導き出します。
私たちのアプローチのパフォーマンスは、複数のデータセットでトレーニングされたさまざまなアーキテクチャのコンピュータビジョンの分布外検出ベンチマークで実証されています。
このメソッドのソースコードは、https：//github.com/Oulu-IMEDS/greedy_ensembles_trainingで公開されています。

要約(オリジナル)

Ensembles of independently trained neural networks are a state-of-the-art approach to estimate predictive uncertainty in Deep Learning, and can be interpreted as an approximation of the posterior distribution via a mixture of delta functions. The training of ensembles relies on non-convexity of the loss landscape and random initialization of their individual members, making the resulting posterior approximation uncontrolled. This paper proposes a novel and principled method to tackle this limitation, minimizing an $f$-divergence between the true posterior and a kernel density estimator (KDE) in a function space. We analyze this objective from a combinatorial point of view, and show that it is submodular with respect to mixture components for any $f$. Subsequently, we consider the problem of greedy ensemble construction. From the marginal gain on the negative $f$-divergence, which quantifies an improvement in posterior approximation yielded by adding a new component into the KDE, we derive a novel diversity term for ensemble methods. The performance of our approach is demonstrated on computer vision out-of-distribution detection benchmarks in a range of architectures trained on multiple datasets. The source code of our method is made publicly available at https://github.com/Oulu-IMEDS/greedy_ensembles_training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google