Symmetry and Generalisation in Machine Learning

要約

この研究は、教師あり学習における一般化に対する不変性と等変性の影響を理解することを目的としています。
平均演算子によって提供される視点を使用して、等変ではない予測変数について、等分散が正しく指定されているすべての回帰問題について、テスト リスクが厳密に低い等変予測変数が存在することを示します。
これは、不変性または等変性の形での対称性が有用な誘導バイアスであるという厳密な証明を構成します。
これらのアイデアをランダム設計の最小二乗法とカーネル リッジ回帰における等変性と不変性にそれぞれ適用します。
これにより、より具体的な設定で予想されるテストのリスクの軽減を指定し、それをグループ、モデル、データのプロパティの観点から表現することができます。
その過程で、等変予測子の分析における平均演算子アプローチの有用性を示す例と追加の結果を示します。
さらに、私たちは別の視点を採用し、不変モデルによる学習は軌道の代表に関する問題に帰着するという共通の直観を形式化します。
この形式主義は、等変モデルに対する同様の直観にも自然に拡張されます。
最後に、2 つの視点を結び付け、今後の取り組みに向けたいくつかのアイデアを示します。

要約(オリジナル)

This work is about understanding the impact of invariance and equivariance on generalisation in supervised learning. We use the perspective afforded by an averaging operator to show that for any predictor that is not equivariant, there is an equivariant predictor with strictly lower test risk on all regression problems where the equivariance is correctly specified. This constitutes a rigorous proof that symmetry, in the form of invariance or equivariance, is a useful inductive bias. We apply these ideas to equivariance and invariance in random design least squares and kernel ridge regression respectively. This allows us to specify the reduction in expected test risk in more concrete settings and express it in terms of properties of the group, the model and the data. Along the way, we give examples and additional results to demonstrate the utility of the averaging operator approach in analysing equivariant predictors. In addition, we adopt an alternative perspective and formalise the common intuition that learning with invariant models reduces to a problem in terms of orbit representatives. The formalism extends naturally to a similar intuition for equivariant models. We conclude by connecting the two perspectives and giving some ideas for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google