Transferring Core Knowledge via Learngenes

要約

事前トレーニング パラダイムは、大規模なデータセットでトレーニングされたモデルを下流のタスクに合わせて微調整し、パフォーマンスを向上させます。
必要な部分と不必要な部分を区別せずにすべての知識を下流のタスクに伝達するため、マイナスの伝達につながる可能性があります。
それに比べて、自然界での知識伝達ははるかに効率的です。
祖先は遺伝情報を子孫に伝える際、必要不可欠な知識だけを遺伝子にエンコードし、それが媒体となります。
それにインスピレーションを得て、私たちは「ラーンジーン」と呼ばれる最近の概念を採用し、自然の遺伝子の構造を模倣することでその構造を洗練させました。
私たちは、生物の進化過程をニューラル ネットワークにコピーするフレームワークである遺伝子転移学習 (GTL) を提案します。
GTL はネットワークの母集団をトレーニングし、トーナメントによって優れた学習遺伝子を選択し、学習遺伝子の突然変異を実行して、学習遺伝子を次世代に渡します。
最後に、VGG11 と ResNet12 の学習遺伝子を抽出することに成功しました。
私たちは、Learngene が子孫ネットワークの本能と強力な学習能力をもたらすことを示します。20% のパラメーターを使用すると、Learngene は CIFAR-FS と miniImageNet で 12% と 16% の精度向上をもたらします。
さらに、学習遺伝子はネットワークやデータセットの下流構造に対する拡張性と適応性を備えています。
全体として、学習遺伝子を介してコア知識を転送することがニューラル ネットワークにとって十分かつ効率的である可能性があるという新たな洞察を提供します。

要約(オリジナル)

The pre-training paradigm fine-tunes the models trained on large-scale datasets to downstream tasks with enhanced performance. It transfers all knowledge to downstream tasks without discriminating which part is necessary or unnecessary, which may lead to negative transfer. In comparison, knowledge transfer in nature is much more efficient. When passing genetic information to descendants, ancestors encode only the essential knowledge into genes, which act as the medium. Inspired by that, we adopt a recent concept called “learngene” and refine its structures by mimicking the structures of natural genes. We propose the Genetic Transfer Learning (GTL) — a framework to copy the evolutionary process of organisms into neural networks. GTL trains a population of networks, selects superior learngenes by tournaments, performs learngene mutations, and passes the learngenes to next generations. Finally, we successfully extract the learngenes of VGG11 and ResNet12. We show that the learngenes bring the descendant networks instincts and strong learning ability: with 20% parameters, the learngenes bring 12% and 16% improvements of accuracy on CIFAR-FS and miniImageNet. Besides, the learngenes have the scalability and adaptability on the downstream structure of networks and datasets. Overall, we offer a novel insight that transferring core knowledge via learngenes may be sufficient and efficient for neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google