StitchNet: Composing Neural Networks from Pre-Trained Fragments

要約

我々は、事前に訓練された複数のニューラル ネットワークからのフラグメント (1 つ以上の連続したネットワーク層) をつなぎ合わせる新しいニューラル ネットワーク作成パラダイムである StitchNet を提案します。
StitchNet を使用すると、バックプロパゲーション トレーニングによる従来のモデル作成プロセスで必要とされる大規模なコンピューティングとデータの要件を必要とせずに、高性能のニューラル ネットワークを作成できます。
互換性対策として Centered Kernel Alignment (CKA) を活用し、特定の精度ニーズとコンピューティング リソースの制約に合わせた特定のタスクのネットワークを構成する際に、これらのフラグメントの選択を効率的にガイドします。
次に、これらのフラグメントをつなぎ合わせて、わずかなコンピューティング リソースとデータ要件で、従来のトレーニング済みネットワークと同等の精度でニューラル ネットワークを作成できることを示します。
最後に、この新しいパラダイムによって可能になる、新しいオンザフライのパーソナライズされたモデルの作成と推論アプリケーションを検討します。

要約(オリジナル)

We propose StitchNet, a novel neural network creation paradigm that stitches together fragments (one or more consecutive network layers) from multiple pre-trained neural networks. StitchNet allows the creation of high-performing neural networks without the large compute and data requirements needed under traditional model creation processes via backpropagation training. We leverage Centered Kernel Alignment (CKA) as a compatibility measure to efficiently guide the selection of these fragments in composing a network for a given task tailored to specific accuracy needs and computing resource constraints. We then show that these fragments can be stitched together to create neural networks with comparable accuracy to traditionally trained networks at a fraction of computing resource and data requirements. Finally, we explore a novel on-the-fly personalized model creation and inference application enabled by this new paradigm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google