Efficiency for Free: Ideal Data Are Transportable Representations

要約

現代の機械学習における重要な機会であり課題であるデータは、現在、表現学習のスケーラビリティを制約し、モデル進化のペースを妨げている。本研究では、最適化と汎化の両方の観点からデータの効率的特性を調査する。我々の理論的・実証的分析により、あるタスクに対して、公開されている、タスクやアーキテクチャにとらわれないモデル（本稿では「先行モデル」と呼ぶ）を利用することで、効率的なデータを効果的に生成できる、という予期せぬ知見が明らかになった。この洞察に基づき、効率的なデータの形成と利用を促進し、表現学習を加速する表現学習アクセラレータ( \algopt)を提案する。CIFAR-10で事前学習したResNet-18を事前モデルとして利用することで、ImageNet-1KでResNet-50を学習する際に、100%のコストを必要とするオリジナルのBYOLで学習したモデルと同等の精度を維持しながら、計算コストを50%削減することができます。我々のコードは以下から入手可能である：\https://github.com/LINs-lab/ReLA}。

要約(オリジナル)

Data, the seminal opportunity and challenge in modern machine learning, currently constrains the scalability of representation learning and impedes the pace of model evolution. In this work, we investigate the efficiency properties of data from both optimization and generalization perspectives. Our theoretical and empirical analysis reveals an unexpected finding: for a given task, utilizing a publicly available, task- and architecture-agnostic model (referred to as the `prior model’ in this paper) can effectively produce efficient data. Building on this insight, we propose the Representation Learning Accelerator (\algopt), which promotes the formation and utilization of efficient data, thereby accelerating representation learning. Utilizing a ResNet-18 pre-trained on CIFAR-10 as a prior model to inform ResNet-50 training on ImageNet-1K reduces computational costs by 50% while maintaining the same accuracy as the model trained with the original BYOL, which requires 100% cost. Our code is available at: \url{https://github.com/LINs-lab/ReLA}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL