Joint-Task Regularization for Partially Labeled Multi-Task Learning

要約

機械学習の分野ではマルチタスク学習の人気が高まっていますが、その実用性は、大規模なラベル付きデータセットの必要性によって妨げられています。
ほとんどのマルチタスク学習方法は、完全にラベル付けされたデータセットに依存しており、各入力例にはすべてのターゲット タスクのグラウンドトゥルース ラベルが付いています。
残念ながら、このようなデータセットのキュレーションは、特に各画像のピクセルごとのラベルを必要とする高密度の予測タスクの場合、法外に高価で非現実的になる可能性があります。
これを念頭に置いて、我々は、データがすべてのタスクに対して完全にラベル付けされていない場合の学習を改善するために、タスク間関係を活用して単一の共同タスク潜在空間内のすべてのタスクを同時に正規化する直観的な手法である共同タスク正則化 (JTR) を提案します。
JTR は、すべてのタスクをペアで個別に正規化するのではなく共同で正規化するという点で既存のアプローチとは異なります。したがって、以前の方法が二次的にスケールするのに対し、タスクの数に対して線形の複雑さを実現します。
私たちのアプローチの有効性を実証するために、NYU-v2、Cityscapes、および Taskonomy に基づいて、部分的にラベル付けされたさまざまなシナリオにわたって私たちの方法を広範にベンチマークしました。

要約(オリジナル)

Multi-task learning has become increasingly popular in the machine learning field, but its practicality is hindered by the need for large, labeled datasets. Most multi-task learning methods depend on fully labeled datasets wherein each input example is accompanied by ground-truth labels for all target tasks. Unfortunately, curating such datasets can be prohibitively expensive and impractical, especially for dense prediction tasks which require per-pixel labels for each image. With this in mind, we propose Joint-Task Regularization (JTR), an intuitive technique which leverages cross-task relations to simultaneously regularize all tasks in a single joint-task latent space to improve learning when data is not fully labeled for all tasks. JTR stands out from existing approaches in that it regularizes all tasks jointly rather than separately in pairs — therefore, it achieves linear complexity relative to the number of tasks while previous methods scale quadratically. To demonstrate the validity of our approach, we extensively benchmark our method across a wide variety of partially labeled scenarios based on NYU-v2, Cityscapes, and Taskonomy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google