NeuralThink: Learning Algorithms For Consistent and Efficient Extrapolation Across General Tasks

要約

私たちは、効率的かつ一貫して外挿できる、つまり（観測サイズの観点から）小さな問題からアルゴリズムを学習し、大きな問題でそれらのアルゴリズムを実行できる、新しい深層思考アーキテクチャである NeuralThink を提案します。
これまでの深層思考アーキテクチャとは対照的に、NeuralThink は、入力と出力のサイズが同じである同サイズの問題と、入力と出力のサイズが異なる異なるサイズの問題の両方に自然に適用できます。
この多用途性を可能にするために、私たちは 3 つの主要なコンポーネントで NeuralThink を設計しています。1 つは、さまざまなスケールで入力情報を繰り返し処理する再帰モジュール、以前に処理された情報を集約する役割を担う処理モジュール、そしてカリキュラムベースのトレーニング スキームで、学習能力を向上させます。
メソッドの外挿パフォーマンス。
私たちの方法を評価するために、一連の新しい異なるサイズのタスクを導入し、より大きな問題を外挿し、より小さなトレーニング問題を考慮し、他のアプローチよりも必要なパラメータが少ないという点で、NeuralThink が従来の最先端の深層思考アプローチよりも一貫して優れていることを示します。
。

要約(オリジナル)

We propose NeuralThink, a novel deep thinking architecture that can efficiently and consistently extrapolate, i.e., learn algorithms from smaller problems (in terms of observation size) and execute those algorithms in large problems. Contrary to previous deep thinking architectures, NeuralThink can be naturally applied in both same-size problems, where the input and output sizes are the same, and in different-size problems, where the size of the input and output differ. To allow for this versatility, we design NeuralThink with three main components: a recurrent module, that iteratively processes input information at different scales, a processing module, responsible for aggregating the previously processed information, and a curriculum-based training scheme, that improves the extrapolation performance of the method. To evaluate our method we introduce a set of novel different-size tasks and we show that NeuralThink consistently outperforms the prior state-of-the-art deep thinking approaches in extrapolating to larger problems, considering smaller training problems and requiring less parameters than other approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google