Composite Learning for Robust and Effective Dense Predictions

要約

マルチタスク学習は、ターゲット タスクを補助タスクと共同で最適化することにより、ターゲット タスクのより良いモデルの一般化を約束します。
ただし、現在のプラクティスでは、補助タスクに追加のラベル付け作業が必要ですが、モデルのパフォーマンスが向上することは保証されていません。
この論文では、密な予測 (ターゲット) タスクを自己教師あり (補助) タスクと共同でトレーニングすることで、ターゲット タスクのパフォーマンスを一貫して改善できると同時に、補助タスクにラベルを付ける必要がないことを発見しました。
この共同トレーニングを Composite Learning (CompL) と呼んでいます。
単眼深度推定、セマンティック セグメンテーション、および境界検出に関する CompL の実験では、完全および部分的にラベル付けされたデータセットで一貫したパフォーマンスの向上が示されています。
深さの推定に関するさらなる分析により、自己監督を伴う共同トレーニングは、ほとんどのラベル付けされた補助タスクよりも優れていることが明らかになりました。
また、モデルが新しいドメインで評価されると、CompL がモデルのロバスト性を改善できることもわかりました。
これらの結果は、補助タスクとしての自己監督の利点を示し、将来のマルチタスク学習研究のための調査の新しい軸として、新しいタスク固有の自己監督方法の設計を確立します。

要約(オリジナル)

Multi-task learning promises better model generalization on a target task by jointly optimizing it with an auxiliary task. However, the current practice requires additional labeling efforts for the auxiliary task, while not guaranteeing better model performance. In this paper, we find that jointly training a dense prediction (target) task with a self-supervised (auxiliary) task can consistently improve the performance of the target task, while eliminating the need for labeling auxiliary tasks. We refer to this joint training as Composite Learning (CompL). Experiments of CompL on monocular depth estimation, semantic segmentation, and boundary detection show consistent performance improvements in fully and partially labeled datasets. Further analysis on depth estimation reveals that joint training with self-supervision outperforms most labeled auxiliary tasks. We also find that CompL can improve model robustness when the models are evaluated in new domains. These results demonstrate the benefits of self-supervision as an auxiliary task, and establish the design of novel task-specific self-supervised methods as a new axis of investigation for future multi-task learning research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google