Learning Hierarchically Structured Concepts

要約

私たちは、構造を持つ概念が脳内でどのように表現されるかという問題を研究します。
具体的には、階層構造の概念のモデルを導入し、生物学的にもっともらしいニューラル ネットワークがこれらの概念をどのように認識できるか、そもそもどのように学習できるかを示します。
私たちの主な目標は、これらのタスクの一般的なフレームワークを導入し、両方 (認識と学習) をどのように達成できるかを正式に証明することです。
ノイズが存在する場合でも両方のタスクを実行できることを示します。
学習のために、シナプスの重みを調整するためのよく知られた生物学的に妥当な規則である Oja 規則を形式的に分析します。
特定の階層深さの概念を認識するには、ニューラル ネットワークには対応する数の層が必要であることを主張する下限で学習結果を補完します。

要約(オリジナル)

We study the question of how concepts that have structure get represented in the brain. Specifically, we introduce a model for hierarchically structured concepts and we show how a biologically plausible neural network can recognize these concepts, and how it can learn them in the first place. Our main goal is to introduce a general framework for these tasks and prove formally how both (recognition and learning) can be achieved. We show that both tasks can be accomplished even in presence of noise. For learning, we analyze Oja’s rule formally, a well-known biologically-plausible rule for adjusting the weights of synapses. We complement the learning results with lower bounds asserting that, in order to recognize concepts of a certain hierarchical depth, neural networks must have a corresponding number of layers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google