Neural networks that overcome classic challenges through practice

要約

心と脳のニューラルネットワークモデルの初期の提案以来、批評家は人間の認知能力と比較したこれらのモデルの重要な弱点を指摘してきました。
ここでは、これらの課題のいくつかを克服するためにメタルラーニングを使用した最近の研究をレビューします。
私たちは、彼らの成功を、重要な発達上の問題に対処したものとして特徴付けます。つまり、彼らは、X の明示的な最適化を通じて、X (X は望ましい機能を表します) を改善するインセンティブとそれを実践する機会をマシンに提供します。
関連するが異なる目的からの一般化を通じて X を達成することを期待する従来のアプローチとは異なります。
我々は、体系性、壊滅的な忘却、少数回学習、多段階推論という 4 つの古典的な課題へのこの原則の適用を検討します。
また、自然環境における人間の発達の関連する側面についても説明します。

要約(オリジナル)

Since the earliest proposals for neural network models of the mind and brain, critics have pointed out key weaknesses in these models compared to human cognitive abilities. Here we review recent work that has used metalearning to help overcome some of these challenges. We characterize their successes as addressing an important developmental problem: they provide machines with an incentive to improve X (where X represents the desired capability) and opportunities to practice it, through explicit optimization for X; unlike conventional approaches that hope for achieving X through generalization from related but different objectives. We review applications of this principle to four classic challenges: systematicity, catastrophic forgetting, few-shot learning and multi-step reasoning; we also discuss related aspects of human development in natural environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google