Unveiling Invariances via Neural Network Pruning

要約

不変性は、データの基礎となるセマンティクスを変更しない変換を表します。
自然な不変性を維持するニューラル ネットワークは、誘導バイアスを適切に捕捉し、優れたパフォーマンスを実現します。
したがって、最新のネットワークは、よく知られている不変性 (翻訳など) を処理できるように手作りされています。
私たちは、枝刈りを通じてデータ依存の不変性を捉える新しいネットワーク アーキテクチャを学習するためのフレームワークを提案します。
当社の学習済みアーキテクチャは、効率と有効性の両方において、ビジョン データセットと表形式データセットの両方で一貫して高密度ニューラル ネットワークを上回ります。
3 つのビジョンと 40 の表形式データセットにわたる複数の深層学習モデルに関するフレームワークを実証します。

要約(オリジナル)

Invariance describes transformations that do not alter data’s underlying semantics. Neural networks that preserve natural invariance capture good inductive biases and achieve superior performance. Hence, modern networks are handcrafted to handle well-known invariances (ex. translations). We propose a framework to learn novel network architectures that capture data-dependent invariances via pruning. Our learned architectures consistently outperform dense neural networks on both vision and tabular datasets in both efficiency and effectiveness. We demonstrate our framework on multiple deep learning models across 3 vision and 40 tabular datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google