Towards Equipping Transformer with the Ability of Systematic Compositionality

要約

言語の生産性と人間の認知における重要な要素の 1 つは、体系的な構成能力です。これは、目に見えるプリミティブの構成された見たことのない例を理解することを指します。
しかし、最近の証拠は、トランスフォーマーが、見たプリミティブに基づいて構成されたコンテキストを一般化するのが難しいことを明らかにしています。
この目的を達成するために、私たちは最初のステップとして、CAT と呼ばれる構成性を意識した Transformer と、体系的な構成性を促進する 2 つの新しい事前トレーニング タスクを提案します。
特に人気のある BERT に基づいて、多層 CAT の成功した実装を暫定的に提供します。
実験結果は、CAT が標準化された言語理解タスクの有効性への影響を最小限に抑えながら、構成性を意識したタスクでベースラインを上回るパフォーマンスを発揮することを示しています。

要約(オリジナル)

One of the key factors in language productivity and human cognition is the ability of systematic compositionality, which refers to understanding composed unseen examples of seen primitives. However, recent evidence reveals that the Transformers have difficulty generalizing the composed context based on the seen primitives. To this end, we take the first step to propose a compositionality-aware Transformer called CAT and two novel pre-training tasks to facilitate systematic compositionality. We tentatively provide a successful implementation of a multi-layer CAT on the basis of the especially popular BERT. The experimental results demonstrate that CAT outperforms baselines on compositionality-aware tasks with minimal impact on the effectiveness on standardized language understanding tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google