Data exploitation: multi-task learning of object detection and semantic segmentation on partially annotated data

要約

各データ ポイントが 1 つのタスクに対してのみ注釈付けされている、部分的に注釈付けされたマルチタスク データは、ネットワークがタスク間の関係を活用できる場合、データ不足の解消に役立つ可能性があります。
この論文では、部分的なアノテーションを備えたマルチタスク データから、2 つの最も一般的な視覚問題であるオブジェクト検出とセマンティック セグメンテーションの共同学習を研究します。
マルチタスク ネットワークが両方のタスクを同時に最適化できない場合、各タスクのパフォーマンスを評価し、それらの補完性を調査するために、広範な実験が実行されます。
私たちは、共同タスクの最適化を活用するために知識の蒸留を採用することを提案します。
実験結果は、シングルタスク学習や完全な監視シナリオよりも、マルチタスク学習と知識蒸留において好ましい結果を示しています。
すべてのコードとデータ分割は https://github.com/lhoangan/multas で入手できます。

要約(オリジナル)

Multi-task partially annotated data where each data point is annotated for only a single task are potentially helpful for data scarcity if a network can leverage the inter-task relationship. In this paper, we study the joint learning of object detection and semantic segmentation, the two most popular vision problems, from multi-task data with partial annotations. Extensive experiments are performed to evaluate each task performance and explore their complementarity when a multi-task network cannot optimize both tasks simultaneously. We propose employing knowledge distillation to leverage joint-task optimization. The experimental results show favorable results for multi-task learning and knowledge distillation over single-task learning and even full supervision scenario. All code and data splits are available at https://github.com/lhoangan/multas

arxiv情報

提供元, 利用サービス

arxiv.jp, Google