要約
ニューラル ネットワークのランドスケープの構造における最も興味深い発見の 1 つは、モード接続性の現象です。2 つの典型的な大域的最小値の場合、それらを障壁なく接続するパスが存在します。
このモード接続性の概念は、深層学習における重要な現象を理解する上で重要な役割を果たしてきました。
この論文では、この接続現象の詳細な分析を実行します。
まず、過剰パラメータ化の場合、接続パスは 2 つの部分からなる直線パスと同じくらい単純になり、パスの長さはユークリッド距離にほぼ等しくなる可能性があることを示します。
この発見は、風景がある意味でほぼ凸面であるべきであることを示唆しています。
第 2 に、驚くべき星型の接続性を明らかにします。有限数の典型的な最小値に対して、線形パスを介してそれらすべてを同時に接続する最小多様体上の中心が存在します。
これらの結果は、教師と生徒の設定下の線形ネットワークおよび 2 層 ReLU ネットワークに対して有効であることが証明されており、MNIST および CIFAR-10 でトレーニングされたモデルによって経験的に裏付けられています。
要約(オリジナル)
One of the most intriguing findings in the structure of neural network landscape is the phenomenon of mode connectivity: For two typical global minima, there exists a path connecting them without barrier. This concept of mode connectivity has played a crucial role in understanding important phenomena in deep learning. In this paper, we conduct a fine-grained analysis of this connectivity phenomenon. First, we demonstrate that in the overparameterized case, the connecting path can be as simple as a two-piece linear path, and the path length can be nearly equal to the Euclidean distance. This finding suggests that the landscape should be nearly convex in a certain sense. Second, we uncover a surprising star-shaped connectivity: For a finite number of typical minima, there exists a center on minima manifold that connects all of them simultaneously via linear paths. These results are provably valid for linear networks and two-layer ReLU networks under a teacher-student setup, and are empirically supported by models trained on MNIST and CIFAR-10.
arxiv情報
| 著者 | Zhanran Lin,Puheng Li,Lei Wu |
| 発行日 | 2024-04-09 15:35:02+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google