Discrete Neural Algorithmic Reasoning

要約

ニューラル アルゴリズム推論は、古典的なアルゴリズムの実行を模倣するモデルを学習することにより、ニューラル ネットワークで計算をキャプチャすることを目的としています。
一般的なアーキテクチャは重み空間に正しいモデルを含めるのに十分な表現力を持っていますが、現在のニューラル推論器は分布外のデータをうまく一般化するのに苦労しています。
一方、古典的な計算は、離散的な計算状態間の遷移として説明できるため、分布シフトの影響を受けません。
この研究では、有限の事前定義された状態の組み合わせとして実行軌道を維持するようにニューラル推論器を強制することを提案します。
それを達成するために、離散データ フローと連続データ フローを分離し、それらの間の相互作用を説明します。
アルゴリズムの状態遷移を監視しながらトレーニングされたこのようなモデルは、元のアルゴリズムと完全に一致することができます。
これを示すために、複数のアルゴリズムの問​​題に対するアプローチを評価し、シングルタスク設定とマルチタスク設定の両方で完璧なテストスコアを取得しました。
さらに、提案されたアーキテクチャの選択により、あらゆるテストデータに対して学習されたアルゴリズムの正しさを証明することができます。

要約(オリジナル)

Neural algorithmic reasoning aims to capture computations with neural networks via learning the models to imitate the execution of classic algorithms. While common architectures are expressive enough to contain the correct model in the weights space, current neural reasoners are struggling to generalize well on out-of-distribution data. On the other hand, classic computations are not affected by distributional shifts as they can be described as transitions between discrete computational states. In this work, we propose to force neural reasoners to maintain the execution trajectory as a combination of finite predefined states. To achieve that, we separate discrete and continuous data flows and describe the interaction between them. Trained with supervision on the algorithm’s state transitions, such models are able to perfectly align with the original algorithm. To show this, we evaluate our approach on multiple algorithmic problems and get perfect test scores both in single-task and multitask setups. Moreover, the proposed architectural choice allows us to prove the correctness of the learned algorithms for any test~data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google