Deep Model Reassembly

要約

このホワイト ペーパーでは、汎用モデルの再利用のために、Deep Model Reassembly (DeRy) と呼ばれる新しい知識伝達タスクについて説明します。
DeRy の目標は、その名前が示すように、異なるソースから事前にトレーニングされたさまざまなアーキテクチャの異種モデルのコレクションを考えると、最初に各モデルを個別の構成要素に分解し、次に派生したブロックを選択的に再構築して、カスタマイズされたネットワークを生成することです。
ハードウェア リソースとパフォーマンスの制約の両方。
DeRy のこのような野心的な性質は、まず第一に、その解決策の実現可能性を含め、必然的に重大な課題を課します。
私たちは、この論文で提案された専用のパラダイムを通じて、DeRy を可能性があるだけでなく、実質的に効率的に作成できることを紹介するよう努めています。
具体的には、カバー セットの最適化を介してすべての事前トレーニング済みネットワークの分割を共同で行い、ネットワーク ブロックが機能的に同等であり、したがって交換可能であるとして扱われる等価セットの数を導き出します。
このようにして学習された等価セットにより、ブロックを選択して組み立て、特定の制約に従ってネットワークをカスタマイズできます。これは、タスクのパフォーマンスを推定するために、トレーニング不要のプロキシでバックアップされた整数プログラムを解くことによって実現されます。
再構築されたモデルは、ユーザーが指定した制約が満たされている満足のいくパフォーマンスを生み出します。
ImageNet では、最適な再構築モデルが微調整なしで 78.6% のトップ 1 精度を達成し、エンドツーエンドのトレーニングでさらに 83.2% に向上する可能性があることを示しています。
コードは https://github.com/Adamdad/DeRy で入手できます。

要約(オリジナル)

In this paper, we explore a novel knowledge-transfer task, termed as Deep Model Reassembly (DeRy), for general-purpose model reuse. Given a collection of heterogeneous models pre-trained from distinct sources and with diverse architectures, the goal of DeRy, as its name implies, is to first dissect each model into distinctive building blocks, and then selectively reassemble the derived blocks to produce customized networks under both the hardware resource and performance constraints. Such ambitious nature of DeRy inevitably imposes significant challenges, including, in the first place, the feasibility of its solution. We strive to showcase that, through a dedicated paradigm proposed in this paper, DeRy can be made not only possibly but practically efficiently. Specifically, we conduct the partitions of all pre-trained networks jointly via a cover set optimization, and derive a number of equivalence set, within each of which the network blocks are treated as functionally equivalent and hence interchangeable. The equivalence sets learned in this way, in turn, enable picking and assembling blocks to customize networks subject to certain constraints, which is achieved via solving an integer program backed up with a training-free proxy to estimate the task performance. The reassembled models, give rise to gratifying performances with the user-specified constraints satisfied. We demonstrate that on ImageNet, the best reassemble model achieves 78.6% top-1 accuracy without fine-tuning, which could be further elevated to 83.2% with end-to-end training. Our code is available at https://github.com/Adamdad/DeRy

arxiv情報

提供元, 利用サービス

arxiv.jp, Google