Understanding Learning Invariance in Deep Linear Networks

要約

等量および不変の機械学習モデルは、サンプル効率を改善するために、データの対称性と構造パターンを活用します。
実証的研究は、正則化やデータ増強などのデータ駆動型の方法が明示的に不変モデルと同等に機能する可能性があることを示唆していますが、理論的洞察は依然として不足しています。
このホワイトペーパーでは、不変性を達成するための3つのアプローチの理論的比較、データの増強、正規化、およびハードワイヤリングを提供します。
深い線形ネットワークを使用した平均2乗回帰に焦点を当てます。これは、ランクに結合された線形マップをパラメーター化し、特定のグループアクションに不変になるように強化される可能性があります。
ハードワイヤリングとデータ増強の最適化問題の重要なポイントが同一であり、サドルとグローバルな最適のみで構成されることを示します。
対照的に、正規化は追加の重要なポイントを導入しますが、グローバルな最適を除いてサドルのままです。
さらに、正規化パスが連続しており、ハードワイヤードソリューションに収束することを実証します。

要約(オリジナル)

Equivariant and invariant machine learning models exploit symmetries and structural patterns in data to improve sample efficiency. While empirical studies suggest that data-driven methods such as regularization and data augmentation can perform comparably to explicitly invariant models, theoretical insights remain scarce. In this paper, we provide a theoretical comparison of three approaches for achieving invariance: data augmentation, regularization, and hard-wiring. We focus on mean squared error regression with deep linear networks, which parametrize rank-bounded linear maps and can be hard-wired to be invariant to specific group actions. We show that the critical points of the optimization problems for hard-wiring and data augmentation are identical, consisting solely of saddles and the global optimum. By contrast, regularization introduces additional critical points, though they remain saddles except for the global optimum. Moreover, we demonstrate that the regularization path is continuous and converges to the hard-wired solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google