StitchNet: Composing Neural Networks from Pre-Trained Fragments

要約

我々は、複数の事前学習済みニューラルネットワークのフラグメント（1つ以上の連続したネットワーク層）をつなぎ合わせる、新しいニューラルネットワーク作成パラダイムであるStitchNetを提案します。StitchNetは、バックプロパゲーション学習による従来のモデル作成プロセスで必要とされる膨大な計算量やデータ量を必要とせずに、高性能なニューラルネットワークを作成することができます。また、CKA（Centered Kernel Alignment）を互換性指標として利用し、特定の精度ニーズや計算機資源の制約に合わせたタスクのためのネットワークを構成する際に、これらのフラグメントの選択を効率的にガイドします。そして、これらのフラグメントをつなぎ合わせることで、従来の学習済みネットワークに匹敵する精度のニューラルネットワークを、必要な計算資源とデータの数分の一で作成できることを示す。最後に、この新しいパラダイムが可能にする、その場でパーソナライズされたモデルの作成と推論を行う新しいアプリケーションを紹介します。

要約(オリジナル)

We propose StitchNet, a novel neural network creation paradigm that stitches together fragments (one or more consecutive network layers) from multiple pre-trained neural networks. StitchNet allows the creation of high-performing neural networks without the large compute and data requirements needed under traditional model creation processes via backpropagation training. We leverage Centered Kernel Alignment (CKA) as a compatibility measure to efficiently guide the selection of these fragments in composing a network for a given task tailored to specific accuracy needs and computing resource constraints. We then show that these fragments can be stitched together to create neural networks with comparable accuracy to traditionally trained networks at a fraction of computing resource and data requirements. Finally, we explore a novel on-the-fly personalized model creation and inference application enabled by this new paradigm.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL