NeuralThink: Algorithm Synthesis that Extrapolates in General Tasks

要約

機械学習手法はパターン認識には優れていますが、スケーラブルでアルゴリズム的な方法での複雑な推論タスクには苦労します。
最近のディープシンキング手法は、小規模な環境で学習し、学習したアルゴリズムを大規模な環境で実行するという推定を行う学習アルゴリズムに期待を示しています。
ただし、これらの作業は、入力と出力の次元が同じである対称タスクに限定されます。
このギャップに対処するために、入力と出力の次元が異なる対称タスクと非対称タスクの両方を一貫して外挿できる新しい反復型アーキテクチャである NeuralThink を提案します。
私たちは、外挿のための非対称タスクの新しいベンチマークに貢献します。
私たちは、小さなトレーニング サイズから大きな観測値への安定した外挿に関して、NeuralThink が以前の最先端の Deep Thinking アーキテクチャよりも常に優れていることを示します。

要約(オリジナル)

While machine learning methods excel at pattern recognition, they struggle with complex reasoning tasks in a scalable, algorithmic manner. Recent Deep Thinking methods show promise in learning algorithms that extrapolate: learning in smaller environments and executing the learned algorithm in larger environments. However, these works are limited to symmetrical tasks, where the input and output dimensionalities are the same. To address this gap, we propose NeuralThink, a new recurrent architecture that can consistently extrapolate to both symmetrical and asymmetrical tasks, where the dimensionality of the input and output are different. We contribute with a novel benchmark of asymmetrical tasks for extrapolation. We show that NeuralThink consistently outperforms the prior state-of-the-art Deep Thinking architectures, in regards to stable extrapolation to large observations from smaller training sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google