Manifold Regularization for Memory-Efficient Training of Deep Neural Networks

要約

機械学習およびディープラーニングのコミュニティにおける一般的な傾向の 1 つは、最先端のパフォーマンス限界を押し上げ続けるために、ますます大規模なモデルの使用に引き寄せられることです。
この傾向は、平均的な実務者にとって関連テクノロジーへのアクセスをより困難にし、現場での知識生産を民主化したいという願望に反します。
この論文では、誘導バイアス駆動のネットワーク設計原理と層ごとの多様体指向の正則化目標を活用することで、従来のニューラル ネットワークの学習プロセスにおいてメモリ効率の向上を達成するためのフレームワークを提案します。
フレームワークを使用すると、従来の学習手法に比べて絶対的なパフォーマンスが向上し、経験的な一般化誤差が生じます。
私たちは、CIFAR-10 と CIFAR-100 という 2 つの標準画像データセットに対する有効性の定性的および定量的証拠を含む、フレームワークの実証的検証を提供します。
提案されたフレームワークは、メモリをさらに節約するために既存のネットワーク圧縮方法とシームレスに組み合わせることができます。

要約(オリジナル)

One of the prevailing trends in the machine- and deep-learning community is to gravitate towards the use of increasingly larger models in order to keep pushing the state-of-the-art performance envelope. This tendency makes access to the associated technologies more difficult for the average practitioner and runs contrary to the desire to democratize knowledge production in the field. In this paper, we propose a framework for achieving improved memory efficiency in the process of learning traditional neural networks by leveraging inductive-bias-driven network design principles and layer-wise manifold-oriented regularization objectives. Use of the framework results in improved absolute performance and empirical generalization error relative to traditional learning techniques. We provide empirical validation of the framework, including qualitative and quantitative evidence of its effectiveness on two standard image datasets, namely CIFAR-10 and CIFAR-100. The proposed framework can be seamlessly combined with existing network compression methods for further memory savings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google