Breaking Neural Network Scaling Laws with Modularity

要約

モジュール式ニューラル ネットワークは、視覚的な質問応答からロボット工学に至るまで、さまざまなタスクにおいて非モジュール式ニューラル ネットワークよりも優れています。
これらのパフォーマンスの向上は、現実世界の問題の構成および組み合わせ構造をモデル化するモジュラー ネットワークの優れた能力によるものと考えられます。
ただし、モジュール化によって一般化可能性がどのように向上するか、またネットワークをトレーニングする際にタスクのモジュール化をどのように活用するかについての理論的な説明は依然として得られていません。
ニューラル ネットワークの一般化を説明する最近の理論的進歩を利用して、タスクの一般化に必要なトレーニング データの量がタスクの入力の固有の次元によってどのように変化するかを調査します。
我々は、モジュール構造のタスクに適用すると、非モジュール型ネットワークはタスクの次元を持つ指数関数的な数のサンプルを必要とするのに対し、モジュール型ネットワークのサンプルの複雑さはタスクの次元に依存しないことを理論的に示します。つまり、モジュール型ネットワークは高次元で一般化できるということです。
次に、この利点を活用するモジュール型ネットワーク用の新しい学習ルールを開発し、高次元のモジュール型タスクにおいて、分散内および分散外の両方でルールの一般化が向上することを経験的に示します。

要約(オリジナル)

Modular neural networks outperform nonmodular neural networks on tasks ranging from visual question answering to robotics. These performance improvements are thought to be due to modular networks’ superior ability to model the compositional and combinatorial structure of real-world problems. However, a theoretical explanation of how modularity improves generalizability, and how to leverage task modularity while training networks remains elusive. Using recent theoretical progress in explaining neural network generalization, we investigate how the amount of training data required to generalize on a task varies with the intrinsic dimensionality of a task’s input. We show theoretically that when applied to modularly structured tasks, while nonmodular networks require an exponential number of samples with task dimensionality, modular networks’ sample complexity is independent of task dimensionality: modular networks can generalize in high dimensions. We then develop a novel learning rule for modular networks to exploit this advantage and empirically show the improved generalization of the rule, both in- and out-of-distribution, on high-dimensional, modular tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google