A path-norm toolkit for modern networks: consequences, promises and challenges

要約

この作業では、バイアスのある一般的な DAG ReLU ネットワーク、スキップ接続、および順序統計の抽出に基づく操作 (最大プーリング、GroupSort など) を完全に包含できる、パスノルムに関する最初のツールキットが導入されています。このツールキットにより、特に一般化を確立できるようになります。
最新のニューラル ネットワークの境界は、最も広く適用可能なパスノルム ベースのものであるだけでなく、このタイプの最も鋭い既知の境界を回復または上回るものでもあります。
これらの拡張されたパス ノルムは、パス ノルムの通常の利点、つまり計算の容易さ、ネットワークの対称性の下での不変性、および最も一般的に使用されるもう 1 つの複雑さの尺度であるオペレーターのノルムの積と比較したフィードフォワード ネットワークの鮮明さの向上をさらに享受します。
ツールキットの多用途性と実装の容易さにより、ImageNet 上の ResNet の最も鋭い既知の境界を数値的に評価することで、パスノルムに基づく一般化境界の具体的な約束に挑戦することができます。

要約(オリジナル)

This work introduces the first toolkit around path-norms that is fully able to encompass general DAG ReLU networks with biases, skip connections and any operation based on the extraction of order statistics: max pooling, GroupSort etc. This toolkit notably allows us to establish generalization bounds for modern neural networks that are not only the most widely applicable path-norm based ones, but also recover or beat the sharpest known bounds of this type. These extended path-norms further enjoy the usual benefits of path-norms: ease of computation, invariance under the symmetries of the network, and improved sharpness on feedforward networks compared to the product of operators’ norms, another complexity measure most commonly used. The versatility of the toolkit and its ease of implementation allow us to challenge the concrete promises of path-norm-based generalization bounds, by numerically evaluating the sharpest known bounds for ResNets on ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google