Neural Algorithmic Reasoning with Causal Regularisation

要約

ニューラルアルゴリズム推論に関する最近の研究では、ニューラルネットワークの推論能力が研究され、ニューラルネットワークが訓練分布から来る未知のデータに対して古典的アルゴリズムの実行を学習できることが効果的に実証されている。しかし、既存のニューラル推論器の性能は、入力のサイズが大きい分布外（OOD）テストデータでは著しく低下する。この研究では、アルゴリズムが特定の中間計算を同じように実行する多くの異なる入力が存在するという重要な観察を行う。この洞察により、アルゴリズムの中間軌道が与えられた場合に、ターゲットアルゴリズムが全く同じ次の軌道ステップを持つような入力を生成するデータ増強手順を開発することができる。我々は、因果グラフで形式化された、我々の観察によって導き出された自己教師付き目的語を用いることで、そのような入力にまたがる次のステップ予測における不変性を保証する。その結果、Hint-ReLICと呼ぶ手法が推論者のOOD汎化能力を向上させることを証明する。本手法をCLRSアルゴリズム推論ベンチマークで評価し、OODテストデータで最大3倍$の改善を示す。

要約(オリジナル)

Recent work on neural algorithmic reasoning has investigated the reasoning capabilities of neural networks, effectively demonstrating they can learn to execute classical algorithms on unseen data coming from the train distribution. However, the performance of existing neural reasoners significantly degrades on out-of-distribution (OOD) test data, where inputs have larger sizes. In this work, we make an important observation: there are many different inputs for which an algorithm will perform certain intermediate computations identically. This insight allows us to develop data augmentation procedures that, given an algorithm’s intermediate trajectory, produce inputs for which the target algorithm would have exactly the same next trajectory step. We ensure invariance in the next-step prediction across such inputs, by employing a self-supervised objective derived by our observation, formalised in a causal graph. We prove that the resulting method, which we call Hint-ReLIC, improves the OOD generalisation capabilities of the reasoner. We evaluate our method on the CLRS algorithmic reasoning benchmark, where we show up to 3$\times$ improvements on the OOD test data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL