Learning principle and mathematical realization of the learning mechanism in the brain

要約

ディープラーニングは目覚ましい成功を収めていますが、なぜこれほどうまく機能するのかについては明確な説明がありません。
この問題を定量的に議論するには、そもそも学習とは何かを説明する数学的枠組みが必要です。
検討を重ねた結果、ディープラーニングや脳内学習を含むあらゆる学習を統一的に理解できる数理フレームワークの構築に成功しました。
これを学習原理と呼びますが、すべての学習は入力データの確率を推定することと同じであるということになります。
この原理を導出しただけでなく、実際の機械学習モデルへの適用についても触れました。
例えば、従来の教師あり学習が条件付き確率の推定と同等であることを発見し、教師あり学習をより効率的かつ一般化することに成功しました。
また、微分を使用して推定確率の値を定義する新しい方法を提案し、事前知識がなくても任意のデータセットに対して教師なし学習を実行できることを示しました。
つまり、この手法は本当の意味での汎用機械学習である。
さらに、全結合モデルまたは部分結合モデルの時間発展を考慮し、この新しい手法を適用することで、脳の学習メカニズムを記述することに成功しました。
学習原理は、深層学習と認知神経科学における多くの未解決の問題に対する解決策を提供します。

要約(オリジナル)

While deep learning has achieved remarkable success, there is no clear explanation about why it works so well. In order to discuss this question quantitatively, we need a mathematical framework that explains what learning is in the first place. After several considerations, we succeeded in constructing a mathematical framework that can provide a unified understanding of all types of learning, including deep learning and learning in the brain. We call it learning principle, and it follows that all learning is equivalent to estimating the probability of input data. We not only derived this principle, but also mentioned its application to actual machine learning models. For example, we found that conventional supervised learning is equivalent to estimating conditional probabilities, and succeeded in making supervised learning more effective and generalized. We also proposed a new method of defining the values of estimated probability using differentiation, and showed that unsupervised learning can be performed on arbitrary dataset without any prior knowledge. Namely, this method is a general-purpose machine learning in the true sense. Moreover, we succeeded in describing the learning mechanism in the brain by considering the time evolution of a fully or partially connected model and applying this new method. The learning principle provides solutions to many unsolved problems in deep learning and cognitive neuroscience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google