Critical Learning Periods Emerge Even in Deep Linear Networks

要約

重要な学習期間とは、一時的な感覚障害が行動や学習された表現に永続的な影響を与える可能性がある発達初期の期間です。
生物学的ネットワークと人工ネットワークの間には根本的な違いがあるにもかかわらず、両方のシステムで重要な学習期間が経験的に観察されています。
これは、臨界期は学習の基礎であり、生物学の偶然ではない可能性があることを示唆しています。
しかし、なぜディープネットワークで臨界期が正確に現れるのかは依然として未解決の問題であり、特に両方のシステムで観察される臨界期が特定のアーキテクチャまたは最適化の詳細に依存するかどうかは不明である。
主要な根底にある要因を分離するために、私たちは深層線形ネットワーク モデルに焦点を当て、驚くべきことに、そのようなネットワークが生物学や人工ネットワークで見られる動作の多くを示しながら、分析的処理に適していることを示します。
臨界期はモデルの深さとデータ分布の構造に依存することを示します。
また、特徴の学習がソース間の競争と結びついていることを分析とシミュレーションで示します。
最後に、分析をマルチタスク学習に拡張して、特定のタスクの事前トレーニングが新しいタスクの転送パフォーマンスに悪影響を与える可能性があることを示し、これがタスク間の関係と事前トレーニング段階の期間にどのように依存するかを示します。
私たちの知る限り、私たちの研究は、なぜ生物学的ネットワークと人工ネットワークに重要な学習期間が生じるのかを解明する、分析的に扱いやすいモデルを初めて提供しました。

要約(オリジナル)

Critical learning periods are periods early in development where temporary sensory deficits can have a permanent effect on behavior and learned representations. Despite the radical differences between biological and artificial networks, critical learning periods have been empirically observed in both systems. This suggests that critical periods may be fundamental to learning and not an accident of biology. Yet, why exactly critical periods emerge in deep networks is still an open question, and in particular it is unclear whether the critical periods observed in both systems depend on particular architectural or optimization details. To isolate the key underlying factors, we focus on deep linear network models, and show that, surprisingly, such networks also display much of the behavior seen in biology and artificial networks, while being amenable to analytical treatment. We show that critical periods depend on the depth of the model and structure of the data distribution. We also show analytically and in simulations that the learning of features is tied to competition between sources. Finally, we extend our analysis to multi-task learning to show that pre-training on certain tasks can damage the transfer performance on new tasks, and show how this depends on the relationship between tasks and the duration of the pre-training stage. To the best of our knowledge, our work provides the first analytically tractable model that sheds light into why critical learning periods emerge in biological and artificial networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google