Differentiable Tree Operations Promote Compositional Generalization

要約

構造間変換タスクのコンテキストでは、離散シンボリック操作の学習シーケンスは、微分不可能であるため、重大な課題を引き起こします。
これらのシンボリック シーケンスの学習を容易にするために、高レベルのシンボリック ツリー演算をテンソル上のサブシンボリック行列演算にコンパイルする微分可能ツリー インタプリタを導入します。
私たちは、インタプリタを外部メモリと統合する新しい Differentiable Tree Machine (DTM) アーキテクチャと、ターゲット変換をエンドツーエンドで実行するためにツリー操作を順次選択することを学習するエージェントを紹介します。
合成意味解析および言語生成タスクに関する配布外の構成一般化に関しては、DTM は 100% を達成していますが、Transformer、Tree Transformer、LSTM、Tree2Tree LSTM などの既存のベースラインの達成率は 30% 未満です。
DTM は、完璧なパフォーマンスに加えて、高い解釈性を維持しています。

要約(オリジナル)

In the context of structure-to-structure transformation tasks, learning sequences of discrete symbolic operations poses significant challenges due to their non-differentiability. To facilitate the learning of these symbolic sequences, we introduce a differentiable tree interpreter that compiles high-level symbolic tree operations into subsymbolic matrix operations on tensors. We present a novel Differentiable Tree Machine (DTM) architecture that integrates our interpreter with an external memory and an agent that learns to sequentially select tree operations to execute the target transformation in an end-to-end manner. With respect to out-of-distribution compositional generalization on synthetic semantic parsing and language generation tasks, DTM achieves 100% while existing baselines such as Transformer, Tree Transformer, LSTM, and Tree2Tree LSTM achieve less than 30%. DTM remains highly interpretable in addition to its perfect performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google