Lecture Notes on Linear Neural Networks: A Tale of Optimization and Generalization in Deep Learning

要約

これらのメモは、ディープ ラーニングの数学的理解に関するプリンストン大学の上級コースの一環として、2021 年 3 月に NC によって行われた講義に基づいています。
彼らは、深層学習における最適化と一般化の研究における基本モデルである線形ニューラル ネットワークの理論 (NC、NR、および共同研究者によって開発された) を提示します。
提示された理論から生まれた実際の応用についても説明します。
この理論は、本質的に動的である数学的ツールに基づいています。
これは、深層学習における最適化と一般化についての理解の限界を押し広げる、このようなツールの可能性を示しています。
本書は、統計学習理論の基礎を理解していることを前提としています。
演習（解答なし）が含まれています。

要約(オリジナル)

These notes are based on a lecture delivered by NC on March 2021, as part of an advanced course in Princeton University on the mathematical understanding of deep learning. They present a theory (developed by NC, NR and collaborators) of linear neural networks — a fundamental model in the study of optimization and generalization in deep learning. Practical applications born from the presented theory are also discussed. The theory is based on mathematical tools that are dynamical in nature. It showcases the potential of such tools to push the envelope of our understanding of optimization and generalization in deep learning. The text assumes familiarity with the basics of statistical learning theory. Exercises (without solutions) are included.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google