Probing Equivariance and Symmetry Breaking in Convolutional Networks

要約

この作業では、明示的な構造的事前、特にグループの等分散のトレードオフを探ります。
理論分析と包括的な経験的研究を通じてこれに対処します。
制御された公正な比較を有効にするために、等変量モデルと非拡張モデルの異なるバリエーションを可能にする統一されたグループの畳み込みアーキテクチャである\ texttt {rapidash}を導入します。
我々の結果は、タスクのジオメトリに合わせた場合、より制約された等縁モデルが制約の少ない代替案よりも優れていることを示唆しており、表現容量を増やしてもパフォーマンスギャップが完全に排除されないことを示唆しています。
多様なデータセット全体でセグメンテーション、回帰、生成などのタスクを通じて、等聴力と対称性の壊れたモデルのパフォーマンスが向上しています。
幾何学的リファレンスフレームを介した明示的\ textIT {対称性破壊}は一貫してパフォーマンスを向上させますが、\ textIT {break equivariance}は、タスクジオメトリに合わせた場合に役立ちます。
私たちの結果は、モデル選択のためにより微妙な方法を提供するタスク固有のパフォーマンストレンドを提供します。

要約(オリジナル)

In this work, we explore the trade-offs of explicit structural priors, particularly group equivariance. We address this through theoretical analysis and a comprehensive empirical study. To enable controlled and fair comparisons, we introduce \texttt{Rapidash}, a unified group convolutional architecture that allows for different variants of equivariant and non-equivariant models. Our results suggest that more constrained equivariant models outperform less constrained alternatives when aligned with the geometry of the task, and increasing representation capacity does not fully eliminate performance gaps. We see improved performance of models with equivariance and symmetry-breaking through tasks like segmentation, regression, and generation across diverse datasets. Explicit \textit{symmetry breaking} via geometric reference frames consistently improves performance, while \textit{breaking equivariance} through geometric input features can be helpful when aligned with task geometry. Our results provide task-specific performance trends that offer a more nuanced way for model selection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google