Towards Compute-Optimal Transfer Learning

要約

【タイトル】コンピューティング最適化された転移学習に向けて

【要約】
– 転移学習の分野は、様々なダウンストリームタスクに対して強い適応性を示す大規模なプレトレーニングモデルの登場により、重要な変革を迎えている。
– ただし、これらのモデルを調整したり使用したりするために必要な高い計算およびメモリ要件は、普及の障害になることがある。
– 本研究では、漸近性能（算出中に計算が無限大に近づいた場合に学習アルゴリズムが達成するパフォーマンス）と定義されるアルゴリズムのパフォーマンスを最大化するように、計算効率を引き換えにするための単純かつ効果的な方法を提案して、この問題を解決する。
– 具体的には、プレトレーニングモデルのゼロショット構造的削減を提案することで、最小限のパフォーマンス低下で計算効率を向上させることができると主張する。
– Nevis’22の継続的学習ベンチマークで評価を行い、プレトレーニングモデルの畳み込みフィルタのプルーニングが、低計算レジムで20％以上の性能向上につながることを示した。

要約(オリジナル)

The field of transfer learning is undergoing a significant shift with the introduction of large pretrained models which have demonstrated strong adaptability to a variety of downstream tasks. However, the high computational and memory requirements to finetune or use these models can be a hindrance to their widespread use. In this study, we present a solution to this issue by proposing a simple yet effective way to trade computational efficiency for asymptotic performance which we define as the performance a learning algorithm achieves as compute tends to infinity. Specifically, we argue that zero-shot structured pruning of pretrained models allows them to increase compute efficiency with minimal reduction in performance. We evaluate our method on the Nevis’22 continual learning benchmark that offers a diverse set of transfer scenarios. Our results show that pruning convolutional filters of pretrained models can lead to more than 20% performance improvement in low computational regimes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI