Optimization Dynamics of Equivariant and Augmented Neural Networks

要約

対称データに対する多層パーセプトロンの最適化を調査します。
アーキテクチャが同等になるように制約する戦略と、拡張を使用する戦略を比較します。
損失と非線形性に関する自然な仮定の下で、同変静止点のセットは2つの戦略で同一であり、同変レイヤーのセットは拡張モデルの勾配フローの下で不変であることを示します。
最後に、静止点は同変モデルでは安定しているが、拡張トレーニングでは不安定になる可能性があることを示します

要約(オリジナル)

We investigate the optimization of multilayer perceptrons on symmetric data. We compare the strategy of constraining the architecture to be equivariant to that of using augmentation. We show that, under natural assumptions on the loss and non-linearities, the sets of equivariant stationary points are identical for the two strategies, and that the set of equivariant layers is invariant under the gradient flow for augmented models. Finally, we show that stationary points may be unstable for augmented training although they are stable for the equivariant models

arxiv情報

提供元, 利用サービス

arxiv.jp, Google