Emergent Equivariance in Deep Ensembles

要約

ディープアンサンブルが密かに等変モデルであることを示します。
より正確には、単にデータ拡張を使用するだけで、ディープ アンサンブルがすべての入力およびすべてのトレーニング時間に対して等変になることを示します。
重要なことは、等分散性はオフ多様体および無限幅制限内のあらゆるアーキテクチャに当てはまります。
等分散性は、個々のアンサンブル メンバーの予測は等価ではないが、集合的な予測は等価であるという意味で出現します。
この結果を導き出すためにニューラル タンジェント カーネル理論が使用され、詳細な数値実験を使用して理論的洞察を検証します。

要約(オリジナル)

We demonstrate that deep ensembles are secretly equivariant models. More precisely, we show that deep ensembles become equivariant for all inputs and at all training times by simply using data augmentation. Crucially, equivariance holds off-manifold and for any architecture in the infinite width limit. The equivariance is emergent in the sense that predictions of individual ensemble members are not equivariant but their collective prediction is. Neural tangent kernel theory is used to derive this result and we verify our theoretical insights using detailed numerical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google