How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model

要約

ディープラーニング・アルゴリズムは、限られた例から高次元のタスクを学習する驚くべき能力を示す。これは一般的に、ニューラルネットワークが抽象的で低次元のデータ表現の階層を構築できる深さに起因すると考えられている。しかし、そのような表現を学習するために、どれだけの学習例が必要なのかは未知のままである。この問題を定量的に研究するために、我々はランダム階層モデルを導入する。これは、言語と画像の階層構造にインスパイアされた合成タスクのファミリーである。このモデルは分類タスクであり、各クラスは、同じクラスに関連付けられている複数の等価なグループの中から選択された高レベルの特徴グループに対応している。次に、各特徴は、等価な複数の特徴から選択された下位特徴のグループに対応し、以下、構成ルールの階層に従う。ディープネットワークは、等価なグループの交換に不変な内部表現を開発することで、タスクを学習することが分かる。さらに、必要なデータ数は、低レベル特徴量とクラス間の相関が検出可能になるポイントに対応する。全体として、我々の結果は、ディープネットワークが不変な表現を構築することで次元の呪いを克服する方法を示し、階層的なタスクを学習するのに必要なデータ数の推定値を提供する。

要約(オリジナル)

Deep learning algorithms demonstrate a surprising ability to learn high-dimensional tasks from limited examples. This is commonly attributed to the depth of neural networks, enabling them to build a hierarchy of abstract, low-dimensional data representations. However, how many training examples are required to learn such representations remains unknown. To quantitatively study this question, we introduce the Random Hierarchy Model: a family of synthetic tasks inspired by the hierarchical structure of language and images. The model is a classification task where each class corresponds to a group of high-level features, chosen among several equivalent groups associated with the same class. In turn, each feature corresponds to a group of sub-features chosen among several equivalent ones and so on, following a hierarchy of composition rules. We find that deep networks learn the task by developing internal representations invariant to exchanging equivalent groups. Moreover, the number of data required corresponds to the point where correlations between low-level features and classes become detectable. Overall, our results indicate how deep networks overcome the curse of dimensionality by building invariant representations, and provide an estimate of the number of data required to learn a hierarchical task.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL