Layer-wise Representation Fusion for Compositional Generalization

要約

既存のニューラル モデルは、構成一般化 (CG)、つまり、目に見えるコンポーネントの目に見えない構成を体系的に一般化する能力に苦戦していることが実証されています。
CG での失敗の主な理由は、エンコーダとデコーダの両方の最上位層におけるシーケンスの構文表現と意味表現がもつれていることです。
ただし、以前の研究では、表現エンタングルメント (RE) 問題を解決するための背後にある理由を調査するのではなく、構文とセマンティクスの学習を分離することに重点が置かれていました。
Transformer レイヤーの最下位から最上位まで表現が進化するメカニズムを分析することで、なぜそれが存在するのかを説明します。
各層内の「浅い」残りの接続は前の層の情報を効果的に融合できず、層間で情報が忘れられ、さらにREの問題が発生することがわかりました。
これに触発されて、私たちは、CG 用の新しい \textbf{L} レイヤーごとの \textbf{R} 表現 \textbf{F} 使用フレームワークである LRF を提案します。これは、前のレイヤの情報を効果的にエンコードおよびデコード プロセスに融合し戻すことを学習します。
各エンコーダ層とデコーダ層に \emph{fuse-attention module} を導入することによって。
LRF は 2 つの現実的なベンチマークで有望な結果を達成し、私たちの提案の有効性を実証的に示しています。

要約(オリジナル)

Existing neural models are demonstrated to struggle with compositional generalization (CG), i.e., the ability to systematically generalize to unseen compositions of seen components. A key reason for failure on CG is that the syntactic and semantic representations of sequences in both the uppermost layer of the encoder and decoder are entangled. However, previous work concentrates on separating the learning of syntax and semantics instead of exploring the reasons behind the representation entanglement (RE) problem to solve it. We explain why it exists by analyzing the representation evolving mechanism from the bottom to the top of the Transformer layers. We find that the “shallow” residual connections within each layer fail to fuse previous layers’ information effectively, leading to information forgetting between layers and further the RE problems. Inspired by this, we propose LRF, a novel \textbf{L}ayer-wise \textbf{R}epresentation \textbf{F}usion framework for CG, which learns to fuse previous layers’ information back into the encoding and decoding process effectively through introducing a \emph{fuse-attention module} at each encoder and decoder layer. LRF achieves promising results on two realistic benchmarks, empirically demonstrating the effectiveness of our proposal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google