AMF: Adaptable Weighting Fusion with Multiple Fine-tuning for Image Classification

要約

微調整は、転移学習アプローチとして画像分類タスクに広く適用されます。
ソースタスクからの知識を再利用して、ターゲットタスクで高いパフォーマンスを学習および取得します。
微調整により、不十分なトレーニングデータと新しいデータの高額なラベル付けの課題を軽減できます。
ただし、標準の微調整では、複雑なデータ分布でのパフォーマンスが制限されます。
この問題に対処するために、各データサンプルの微調整戦略を適応的に決定するAdaptableMulti-tuningメソッドを提案します。
このフレームワークでは、複数の微調整設定と1つのポリシーネットワークが定義されています。
Adaptable Multi-tuningのポリシーネットワークは、最適な重み付けに動的に調整して、さまざまな微調整戦略を使用してトレーニングされたモデルにさまざまなサンプルを供給することができます。
私たちの方法は、データセットFGVC-Aircraft、およびDescribable Textureで標準の微調整アプローチより1.69％、2.79％優れており、データセットStanford Cars、CIFAR-10、およびFashion-MNISTで同等のパフォーマンスを実現します。

要約(オリジナル)

Fine-tuning is widely applied in image classification tasks as a transfer learning approach. It re-uses the knowledge from a source task to learn and obtain a high performance in target tasks. Fine-tuning is able to alleviate the challenge of insufficient training data and expensive labelling of new data. However, standard fine-tuning has limited performance in complex data distributions. To address this issue, we propose the Adaptable Multi-tuning method, which adaptively determines each data sample’s fine-tuning strategy. In this framework, multiple fine-tuning settings and one policy network are defined. The policy network in Adaptable Multi-tuning can dynamically adjust to an optimal weighting to feed different samples into models that are trained using different fine-tuning strategies. Our method outperforms the standard fine-tuning approach by 1.69%, 2.79% on the datasets FGVC-Aircraft, and Describable Texture, yielding comparable performance on the datasets Stanford Cars, CIFAR-10, and Fashion-MNIST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google