Beyond Transfer Learning: Co-finetuning for Action Localisation

要約

転移学習は、小さなターゲットデータセットでディープネットワークをトレーニングするための主要なパラダイムです。
モデルは通常、分類のために大規模な「アップストリーム」データセットで事前トレーニングされます。このようなラベルは簡単に収集できるため、アクションのローカリゼーションなどの「ダウンストリーム」タスクで微調整されます。
このホワイトペーパーでは、このアプローチに疑問を投げかけ、共同微調整を提案します。つまり、複数の「アップストリーム」タスクと「ダウンストリーム」タスクで単一のモデルを同時にトレーニングします。
同じ総量のデータを使用する場合、協調微調整が従来の転移学習よりも優れていることを示し、パフォーマンスをさらに向上させるために複数の「上流」データセットにアプローチを簡単に拡張する方法も示します。
特に、協調微調整は、正規化効果があり、ネットワークが異なるデータセット間で転送される特徴表現を学習できるようにするため、ダウンストリームタスクのまれなクラスのパフォーマンスを大幅に向上させます。
最後に、公開されているビデオ分類データセットとの協調調整により、挑戦的なAVAおよびAVA-Kineticsデータセットでの時空間アクションのローカリゼーションに関する最先端の結果を達成し、複雑な開発を行う最近の作品を上回っています。
モデル。

要約(オリジナル)

Transfer learning is the predominant paradigm for training deep networks on small target datasets. Models are typically pretrained on large “upstream” datasets for classification, as such labels are easy to collect, and then finetuned on “downstream” tasks such as action localisation, which are smaller due to their finer-grained annotations. In this paper, we question this approach, and propose co-finetuning — simultaneously training a single model on multiple “upstream” and “downstream” tasks. We demonstrate that co-finetuning outperforms traditional transfer learning when using the same total amount of data, and also show how we can easily extend our approach to multiple “upstream” datasets to further improve performance. In particular, co-finetuning significantly improves the performance on rare classes in our downstream task, as it has a regularising effect, and enables the network to learn feature representations that transfer between different datasets. Finally, we observe how co-finetuning with public, video classification datasets, we are able to achieve state-of-the-art results for spatio-temporal action localisation on the challenging AVA and AVA-Kinetics datasets, outperforming recent works which develop intricate models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google