Position Paper: Generalized grammar rules and structure-based generalization beyond classical equivariance for lexical tasks and transduction

要約

構文汎化は、人間の語彙学習を最先端のニューラルネットワークと区別する主要な特性の一つである。我々は、一般化文法規則（Generalized Grammar Rules：GGR）の概念を用いて、構成的に汎化できるモデルを構築するための一般的な枠組みを提案する。GGRは、物理学に触発されたタスクにおける等変量制約の移項アナログと見なす、移項タスクのための対称性に基づく構成制約のクラスである。言語移行のための対称性の一般化された概念を公式化することに加え、我々の枠組みは、多くの既存の作品を特殊なケースとして含むのに十分なほど一般的である。我々は、GGRがどのように実装されるかというアイデアを提示し、その過程で強化学習や他の研究分野との関連を描く。

要約(オリジナル)

Compositional generalization is one of the main properties which differentiates lexical learning in humans from state-of-art neural networks. We propose a general framework for building models that can generalize compositionally using the concept of Generalized Grammar Rules (GGRs), a class of symmetry-based compositional constraints for transduction tasks, which we view as a transduction analogue of equivariance constraints in physics-inspired tasks. Besides formalizing generalized notions of symmetry for language transduction, our framework is general enough to contain many existing works as special cases. We present ideas on how GGRs might be implemented, and in the process draw connections to reinforcement learning and other areas of research.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL