When Multi-Task Learning Meets Partial Supervision: A Computer Vision Review

要約

マルチタスク学習 (MTL) は、複数のタスクの相互関係を利用しながら同時に学習することを目的としています。
共有リソースを使用して複数の出力を同時に計算することにより、この学習パラダイムは、タスクごとに個別の方法を使用する従来のアプローチと比較して、メモリ要件と推論時間を削減できる可能性があります。
MTL におけるこれまでの研究は、タスク関係を利用してこれらのメソッドのデータ依存性のレベルを下げるだけでなく、パフォーマンスも向上させることができるため、主に完全教師ありメソッドに焦点を当ててきました。
ただし、MTL では、複雑な最適化スキームと高度なラベル付け要件により、一連の課題が生じます。
このレビューでは、これらの課題に対処するために、さまざまな部分的な監視設定の下で MTL をどのように利用できるかに焦点を当てます。
まず、このレビューでは、MTL が従来、タスク間で知識を伝達するためにさまざまなパラメーター共有手法をどのように使用してきたかを分析します。
第 2 に、このような多目的最適化スキームから生じるさまざまな課題を示します。
3 番目に、タスクの関係を分析することでタスクのグループ化を実現する方法を紹介します。
第 4 に、MTL に適用される部分教師あり手法が前述の課題にどのように対処できるかに焦点を当てています。
最後に、このレビューでは、利用可能なデータセット、ツール、およびそのような手法のベンチマーク結果を示します。

要約(オリジナル)

Multi-Task Learning (MTL) aims to learn multiple tasks simultaneously while exploiting their mutual relationships. By using shared resources to simultaneously calculate multiple outputs, this learning paradigm has the potential to have lower memory requirements and inference times compared to the traditional approach of using separate methods for each task. Previous work in MTL has mainly focused on fully-supervised methods, as task relationships can not only be leveraged to lower the level of data-dependency of those methods but they can also improve performance. However, MTL introduces a set of challenges due to a complex optimisation scheme and a higher labeling requirement. This review focuses on how MTL could be utilised under different partial supervision settings to address these challenges. First, this review analyses how MTL traditionally uses different parameter sharing techniques to transfer knowledge in between tasks. Second, it presents the different challenges arising from such a multi-objective optimisation scheme. Third, it introduces how task groupings can be achieved by analysing task relationships. Fourth, it focuses on how partially supervised methods applied to MTL can tackle the aforementioned challenges. Lastly, this review presents the available datasets, tools and benchmarking results of such methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google