Improved Canonicalization for Model Agnostic Equivariance

要約

この研究では、ディープ ラーニングでアーキテクチャに依存しない等変性を達成するための新しいアプローチを導入し、特に従来の層ごとの等変アーキテクチャの制限と既存のアーキテクチャに依存しない手法の非効率性に対処します。
従来の方法を使用して等変モデルを構築するには、既存のモデルの等変バージョンを設計し、それらを最初からトレーニングする必要がありますが、このプロセスは非現実的でリソースを大量に消費します。
正規化は、モデル アーキテクチャを変更せずに等変性を誘導するための有望な代替手段として浮上していますが、正規化の向きを正確に学習するには、表現力が高く高価な等変ネットワークが必要になるという問題があります。
私たちは、正規化に非等変ネットワークを使用する新しい最適化ベースの方法を提案します。
私たちの方法では、対照学習を使用して正規方向を効率的に学習し、正規化ネットワークの選択により高い柔軟性を提供します。
私たちは、このアプローチが大規模な事前トレーニング済みモデルの等分散性を達成する点で既存の方法よりも優れており、正規化プロセスが大幅に高速化され、最大 2 倍高速になることを経験的に示しています。

要約(オリジナル)

This work introduces a novel approach to achieving architecture-agnostic equivariance in deep learning, particularly addressing the limitations of traditional layerwise equivariant architectures and the inefficiencies of the existing architecture-agnostic methods. Building equivariant models using traditional methods requires designing equivariant versions of existing models and training them from scratch, a process that is both impractical and resource-intensive. Canonicalization has emerged as a promising alternative for inducing equivariance without altering model architecture, but it suffers from the need for highly expressive and expensive equivariant networks to learn canonical orientations accurately. We propose a new optimization-based method that employs any non-equivariant network for canonicalization. Our method uses contrastive learning to efficiently learn a canonical orientation and offers more flexibility for the choice of canonicalization network. We empirically demonstrate that this approach outperforms existing methods in achieving equivariance for large pretrained models and significantly speeds up the canonicalization process, making it up to 2 times faster.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google