Neural Algorithmic Reasoning Without Intermediate Supervision

要約

ニューラル アルゴリズム推論は、ソートや最短パスなどの古典的なアルゴリズムの実行を模倣できるモデルの構築に焦点を当てた機械学習の新興分野です。主な課題の 1 つは、外部に一般化できるアルゴリズムを学習することです。
– 分布データ、特に入力サイズが大幅に大きい場合。
この問題に関する最近の研究では、アルゴリズムを段階的に学習することの利点が実証され、モデルが元のアルゴリズムのすべての中間ステップにアクセスできるようになりました。
この研究では、代わりに、中間の監視を必要とせず、入出力ペアのみからニューラル アルゴリズム推論を学習することに焦点を当てます。
私たちは、シンプルだが効果的なアーキテクチャの改善を提案し、アルゴリズムの軌跡にアクセスせずにモデルの中間計算を正規化できる自己教師あり目標も構築します。
私たちは、CLRS アルゴリズム推論ベンチマークのタスクに関して、私たちのアプローチが軌跡監視付きのアプローチに匹敵することを実証し、ソートを含むいくつかの問題に対して新しい最先端の結果を達成し、大幅な改善が得られることを実証しました。
したがって、中間の監視なしで学習することは、神経推論器のさらなる研究にとって有望な方向性です。

要約(オリジナル)

Neural algorithmic reasoning is an emerging area of machine learning focusing on building models that can imitate the execution of classic algorithms, such as sorting, shortest paths, etc. One of the main challenges is to learn algorithms that are able to generalize to out-of-distribution data, in particular with significantly larger input sizes. Recent work on this problem has demonstrated the advantages of learning algorithms step-by-step, giving models access to all intermediate steps of the original algorithm. In this work, we instead focus on learning neural algorithmic reasoning only from the input-output pairs without appealing to the intermediate supervision. We propose simple but effective architectural improvements and also build a self-supervised objective that can regularise intermediate computations of the model without access to the algorithm trajectory. We demonstrate that our approach is competitive to its trajectory-supervised counterpart on tasks from the CLRS Algorithmic Reasoning Benchmark and achieves new state-of-the-art results for several problems, including sorting, where we obtain significant improvements. Thus, learning without intermediate supervision is a promising direction for further research on neural reasoners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google