Exploring Continual Learning of Compositional Generalization in NLI

要約

構成的自然言語推論は、NLI を実行するニューラル モデルの真の能力を評価するために研究されてきました。
しかし、現在の評価では、人間が推論知識を継続的に取得するのとは対照的に、モデルがすべての基本的な推論に事前に完全にアクセスできることが前提となっています。
この論文では、モデルが構成推論の基礎として原始推論タスクを構成する知識を継続的に取得する、推論における継続的構成一般化 (C2Gen NLI) チャレンジを紹介します。
構成的 NLI 推論タスク用の継続的学習セットアップを設計することにより、継続的学習が NLI における構成的一般化にどのような影響を与えるかを調査します。
私たちの実験は、モデルが継続的なシナリオにおいて構成的に一般化できないことを示しています。
この問題に対処するために、私たちはまずさまざまな継続学習アルゴリズムのベンチマークを行い、その有効性を検証します。
次に、プリミティブと構成推論タイプの順序付け方法に焦点を当て、サブタスク間の相関関係を調べて、C2Gen をさらに分析します。
私たちの分析によれば、サブタスクの依存関係を観察し、難易度を上げながらサブタスクを継続的に学習することで、継続的な学習により構成の汎化能力が向上することがわかりました。

要約(オリジナル)

Compositional Natural Language Inference has been explored to assess the true abilities of neural models to perform NLI. Yet, current evaluations assume models to have full access to all primitive inferences in advance, in contrast to humans that continuously acquire inference knowledge. In this paper, we introduce the Continual Compositional Generalization in Inference (C2Gen NLI) challenge, where a model continuously acquires knowledge of constituting primitive inference tasks as a basis for compositional inferences. We explore how continual learning affects compositional generalization in NLI, by designing a continual learning setup for compositional NLI inference tasks. Our experiments demonstrate that models fail to compositionally generalize in a continual scenario. To address this problem, we first benchmark various continual learning algorithms and verify their efficacy. We then further analyze C2Gen, focusing on how to order primitives and compositional inference types and examining correlations between subtasks. Our analyses show that by learning subtasks continuously while observing their dependencies and increasing degrees of difficulty, continual learning can enhance composition generalization ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google