Homomorphism Autoencoder — Learning Group Structured Representations from Observed Transitions

要約

エージェントが現実世界とのインタラクションを正確に表現する内部モデルをどのようにして学習できるかは、大きな未解決の問題です。
機械学習は観察的な知識だけでなく介入的な知識も含む表現へと移行しているため、私たちは表現学習とグループ理論のツールを使用してこの問題を研究します。
私たちは、世界に作用するエージェントが、感覚情報を変更するアクションと一致する感覚情報の内部表現を学習できるようにする方法を提案します。
グループ表現に適切な準同型特性を強制するために、等分散導出損失を使用してトレーニングされた、潜在空間に作用するグループ表現を備えたオートエンコーダーを使用します。
既存の作業とは対照的に、私たちのアプローチはグループに関する事前知識を必要とせず、エージェントが実行できる一連のアクションを制限しません。
私たちは理論的にこの方法を動機付け、それがアクションのグループ表現を学習できることを経験的に示し、それによって環境に適用される一連の変換の構造を捕捉します。
さらに、これによりエージェントが将来の一連のアクションの影響をより高い精度で予測できることを示します。

要約(オリジナル)

How can agents learn internal models that veridically represent interactions with the real world is a largely open question. As machine learning is moving towards representations containing not just observational but also interventional knowledge, we study this problem using tools from representation learning and group theory. We propose methods enabling an agent acting upon the world to learn internal representations of sensory information that are consistent with actions that modify it. We use an autoencoder equipped with a group representation acting on its latent space, trained using an equivariance-derived loss in order to enforce a suitable homomorphism property on the group representation. In contrast to existing work, our approach does not require prior knowledge of the group and does not restrict the set of actions the agent can perform. We motivate our method theoretically, and show empirically that it can learn a group representation of the actions, thereby capturing the structure of the set of transformations applied to the environment. We further show that this allows agents to predict the effect of sequences of future actions with improved accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google