Learning Compact Neural Networks with Deep Overparameterised Multitask Learning

要約

コンパクトなニューラル ネットワークは、現実世界のアプリケーションに多くの利点をもたらします。
ただし、パラメーター サイズが小さく、計算コストが低いコンパクトなニューラル ネットワークをトレーニングして、より複雑で強力なアーキテクチャと比較して同等以上のモデル パフォーマンスを達成することは通常困難です。
これは、さまざまなタスクがリソースを求めて競合するマルチタスク学習に特に当てはまります。
トレーニング時にモデル アーキテクチャをオーバーパラメータ化し、タスク間でオーバーパラメータ化されたモデル パラメータをより効果的に共有することで、より良い最適化と一般化を実現する、シンプルで効率的かつ効果的なマルチタスク学習のオーバーパラメータ化ニューラル ネットワーク設計を紹介します。
2 つの困難なマルチタスク データセット (NYUv2 と COCO) での実験により、さまざまな畳み込みネットワークとパラメーター サイズにわたる提案された方法の有効性が実証されています。

要約(オリジナル)

Compact neural network offers many benefits for real-world applications. However, it is usually challenging to train the compact neural networks with small parameter sizes and low computational costs to achieve the same or better model performance compared to more complex and powerful architecture. This is particularly true for multitask learning, with different tasks competing for resources. We present a simple, efficient and effective multitask learning overparameterisation neural network design by overparameterising the model architecture in training and sharing the overparameterised model parameters more effectively across tasks, for better optimisation and generalisation. Experiments on two challenging multitask datasets (NYUv2 and COCO) demonstrate the effectiveness of the proposed method across various convolutional networks and parameter sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google