Towards fully covariant machine learning

要約

データの表現には、研究者の恣意的な選択が含まれます。
これらの選択はデータ生成プロセスの外部にあるため、各選択は、ある可能な表現を別の表現に変換するグループの変換に対応する、正確な対称性をもたらします。
これらは受動的対称です。
これらには、座標の自由度、ゲージの対称性、単位の共分散などが含まれており、これらはすべて物理学において重要な結果をもたらしています。
機械学習において、最も目に見える受動的対称性は、グラフの再ラベル付けまたは置換対称性です。
私たちの目標は、実際に存在する多くの受動的対称性の機械学習への影響を理解することです。
受動的対称性を尊重する必要がある場合、機械学習の実践ですべきこととしてはいけないことについて説明します。
私たちは因果モデリングとの関連について議論し、学習問題の目標がサンプルから一般化することである場合、受動的対称性の実装が特に価値があると主張します。
この論文は概念的なものであり、物理学、数学、機械学習の言語間で翻訳されます。
私たちは、受動的対称性の検討と実装は、20 世紀に物理学を変革したのと同じように、機械学習に役立つ可能性があると信じています。

要約(オリジナル)

Any representation of data involves arbitrary investigator choices. Because those choices are external to the data-generating process, each choice leads to an exact symmetry, corresponding to the group of transformations that takes one possible representation to another. These are the passive symmetries; they include coordinate freedom, gauge symmetry, and units covariance, all of which have led to important results in physics. In machine learning, the most visible passive symmetry is the relabeling or permutation symmetry of graphs. Our goal is to understand the implications for machine learning of the many passive symmetries in play. We discuss dos and don’ts for machine learning practice if passive symmetries are to be respected. We discuss links to causal modeling, and argue that the implementation of passive symmetries is particularly valuable when the goal of the learning problem is to generalize out of sample. This paper is conceptual: It translates among the languages of physics, mathematics, and machine-learning. We believe that consideration and implementation of passive symmetries might help machine learning in the same ways that it transformed physics in the twentieth century.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google