Target Aware Network Architecture Search and Compression for Efficient Knowledge Transfer

要約

転移学習により、畳み込みニューラル ネットワーク (CNN) はソース ドメインから知識を取得し、それをターゲット ドメインに転送できます。ターゲット ドメインでは、大規模な注釈付きサンプルの収集には時間とコストがかかります。
従来は、あるタスクから学習した知識を別のタスクに転送しながら、事前トレーニングされた CNN のより深い層がターゲット データセットに対して微調整されます。
ただし、これらのレイヤーはもともとソース タスク用に設計されており、ターゲット タスクでは過剰にパラメーター化される可能性があります。
したがって、ターゲット データセット上でこれらの層を微調整すると、ネットワークの複雑さが高いため、CNN の汎化能力に影響を与える可能性があります。
この問題に取り組むために、効率的な知識伝達を可能にする TASCNet と呼ばれる 2 段階のフレームワークを提案します。
最初の段階では、より深い層の構成が自動的に学習され、ターゲット データセットに合わせて微調整されます。
その後、第 2 段階で、微調整された CNN から冗長なフィルターが削除され、パフォーマンスを維持しながらターゲット タスクのネットワークの複雑さが軽減されます。
この 2 段階のメカニズムにより、仮説空間から最適な構造 (畳み込み層のフィルターの数、密層のニューロンの数など) を持つ事前トレーニングされた CNN のコンパクト バージョンが見つかります。
提案された方法の有効性は、CalTech-101、CalTech-256、および Stanford Dogs データセット上の VGG-16、ResNet-50、および DenseNet-121 を使用して評価されます。
コンピューター ビジョン タスクと同様に、映画レビュー感情分析タスクの実験も実施しました。
提案された TASCNet は、トレーニング可能なパラメータと FLOP の両方を削減することで、ターゲット タスクに対する事前トレーニングされた CNN の計算の複雑さを軽減し、リソース効率の高い知識の伝達を可能にします。
ソース コードは https://github.com/Debapriya-Tula/TASCNet から入手できます。

要約(オリジナル)

Transfer Learning enables Convolutional Neural Networks (CNN) to acquire knowledge from a source domain and transfer it to a target domain, where collecting large-scale annotated examples is time-consuming and expensive. Conventionally, while transferring the knowledge learned from one task to another task, the deeper layers of a pre-trained CNN are finetuned over the target dataset. However, these layers are originally designed for the source task which may be over-parameterized for the target task. Thus, finetuning these layers over the target dataset may affect the generalization ability of the CNN due to high network complexity. To tackle this problem, we propose a two-stage framework called TASCNet which enables efficient knowledge transfer. In the first stage, the configuration of the deeper layers is learned automatically and finetuned over the target dataset. Later, in the second stage, the redundant filters are pruned from the fine-tuned CNN to decrease the network’s complexity for the target task while preserving the performance. This two-stage mechanism finds a compact version of the pre-trained CNN with optimal structure (number of filters in a convolutional layer, number of neurons in a dense layer, and so on) from the hypothesis space. The efficacy of the proposed method is evaluated using VGG-16, ResNet-50, and DenseNet-121 on CalTech-101, CalTech-256, and Stanford Dogs datasets. Similar to computer vision tasks, we have also conducted experiments on Movie Review Sentiment Analysis task. The proposed TASCNet reduces the computational complexity of pre-trained CNNs over the target task by reducing both trainable parameters and FLOPs which enables resource-efficient knowledge transfer. The source code is available at: https://github.com/Debapriya-Tula/TASCNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google