Improving Equivariant Model Training via Constraint Relaxation

要約

等変ニューラル ネットワークは、基礎となるデータの対称性がわかっているタスクでうまく一般化できるため、さまざまなアプリケーションで広く使用されています。
成功したにもかかわらず、このようなネットワークは最適化が難しい場合があり、トレーニングを成功させるには慎重なハイパーパラメーターの調整が必要です。
この研究では、トレーニング中にハード等分散制約を緩和することで、そのようなモデルの最適化を改善するための新しいフレームワークを提案します。追加の非等分散項を導入することで、ネットワークの中間層の等分散制約を緩和します。これは、到達するまで段階的に制約されます。
等変解で。
追加の緩和項の活性化の大きさを制御することで、モデルが近似等変ネットワークを含むより大きな仮説空間にわたって最適化され、トレーニングの終了時に等変解に収束して戻ることが可能になります。
さまざまな最先端のネットワーク アーキテクチャに関する実験結果を提供し、このトレーニング フレームワークによって汎化パフォーマンスが向上した等変モデルがどのように得られるかを実証します。

要約(オリジナル)

Equivariant neural networks have been widely used in a variety of applications due to their ability to generalize well in tasks where the underlying data symmetries are known. Despite their successes, such networks can be difficult to optimize and require careful hyperparameter tuning to train successfully. In this work, we propose a novel framework for improving the optimization of such models by relaxing the hard equivariance constraint during training: We relax the equivariance constraint of the network’s intermediate layers by introducing an additional non-equivariance term that we progressively constrain until we arrive at an equivariant solution. By controlling the magnitude of the activation of the additional relaxation term, we allow the model to optimize over a larger hypothesis space containing approximate equivariant networks and converge back to an equivariant solution at the end of training. We provide experimental results on different state-of-the-art network architectures, demonstrating how this training framework can result in equivariant models with improved generalization performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google