Dynamic MOdularized Reasoning for Compositional Structured Explanation Generation

要約

推論タスクの解決におけるニューラル モデルの成功にもかかわらず、その構成的一般化能力は依然として不明です。
この研究では、構成的推論の研究を促進するために、構造化説明生成タスクの新しい設定を提案します。
これまでの研究では、記号手法が、反復推論に事前定義された推論ルールを使用することにより、優れた構成性を達成できることが判明しました。
しかし、これらのアプローチは脆弱なシンボリック転送に依存しており、明確に定義されたタスクに限定されます。
そこで、ニューラル モデルの構成的一般化を改善するために、動的モジュール化推論モデル MORSE を提案します。
MORSE は、推論プロセスをモジュールの組み合わせに因数分解します。各モジュールは機能単位を表します。
具体的には、モジュール化されたセルフアテンションを採用し、入力を動的に選択して専用ヘッドにルーティングし、特定の機能に特化します。
私たちは、MORSE の構成的一般化能力をテストするために 2 つのベンチマークで推論ツリーの長さと形状を増やす実験を実施し、競合ベースラインを上回るパフォーマンスを示していることがわかりました。
モデルのアブレーションとより詳細な分析により、動的推論モジュールの有効性とその一般化能力が示されます。

要約(オリジナル)

Despite the success of neural models in solving reasoning tasks, their compositional generalization capabilities remain unclear. In this work, we propose a new setting of the structured explanation generation task to facilitate compositional reasoning research. Previous works found that symbolic methods achieve superior compositionality by using pre-defined inference rules for iterative reasoning. But these approaches rely on brittle symbolic transfers and are restricted to well-defined tasks. Hence, we propose a dynamic modularized reasoning model, MORSE, to improve the compositional generalization of neural models. MORSE factorizes the inference process into a combination of modules, where each module represents a functional unit. Specifically, we adopt modularized self-attention to dynamically select and route inputs to dedicated heads, which specializes them to specific functions. We conduct experiments for increasing lengths and shapes of reasoning trees on two benchmarks to test MORSE’s compositional generalization abilities, and find it outperforms competitive baselines. Model ablation and deeper analyses show the effectiveness of dynamic reasoning modules and their generalization abilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google