Self-Training and Multi-Task Learning for Limited Data: Evaluation Study on Object Detection

要約

自己トレーニングでは、ネットワークがより複雑なモデルの予測から学習できるため、多くの場合、よくトレーニングされた教師モデルと教師と生徒のデータの混合が必要ですが、マルチタスク学習では、顕著な相互関係を学習するためにさまざまなターゲットを共同で最適化し、マルチタスクが必要です。
各トレーニング例の注釈。
これらのフレームワークは、特にデータを要求するものであるにもかかわらず、そのような前提を緩和できればデータ活用の可能性を秘めています。
この論文では、生徒が教師によって目に見えないサンプルでトレーニングされる教師トレーニングデータの不足下での自己トレーニングオブジェクト検出と、部分的にアノテーションが付けられたデータ、つまりトレーニングサンプルごとのシングルタスクアノテーションを使用したマルチタスク学習を比較します。
どちらのシナリオにも独自の制限がありますが、限定された注釈付きデータに役立つ可能性があります。
実験結果は、マルチタスクの生徒を訓練するために目に見えないデータを持つ弱い教師を使用すると、パフォーマンスが向上することを示しています。
限られた設定にもかかわらず、実験結果はマルチタスクの知識の蒸留と自己訓練の可能性を示しており、将来の研究に有益である可能性があると私たちは信じています。
ソースコードは https://lhoangan.github.io/multas にあります。

要約(オリジナル)

Self-training allows a network to learn from the predictions of a more complicated model, thus often requires well-trained teacher models and mixture of teacher-student data while multi-task learning jointly optimizes different targets to learn salient interrelationship and requires multi-task annotations for each training example. These frameworks, despite being particularly data demanding have potentials for data exploitation if such assumptions can be relaxed. In this paper, we compare self-training object detection under the deficiency of teacher training data where students are trained on unseen examples by the teacher, and multi-task learning with partially annotated data, i.e. single-task annotation per training example. Both scenarios have their own limitation but potentially helpful with limited annotated data. Experimental results show the improvement of performance when using a weak teacher with unseen data for training a multi-task student. Despite the limited setup we believe the experimental results show the potential of multi-task knowledge distillation and self-training, which could be beneficial for future study. Source code is at https://lhoangan.github.io/multas.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google