Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning

要約

深層学習では、データが不足している場合や主要なタスクが非常に複雑である場合に学習を促進するために補助目標がよく使用されます。
このアイデアは主に、複数のタスクを同時に解決することによって誘発される一般化機能の向上によってインスピレーションを得ており、これによりより堅牢な共有表現が実現されます。
それにもかかわらず、望ましい改善をもたらす最適な補助タスクを見つけることは重要な問題であり、多くの場合、手作りのソリューションや高価なメタ学習アプローチが必要になります。
この論文では、Detaux と呼ばれる新しいフレームワークを提案します。このフレームワークでは、弱く教師ありのもつれ解除手順を使用して、関連性のない新しい分類タスクと、マルチタスク学習 (MTL) モデルの主要タスクで利用できる関連ラベルを発見します。
もつれ解除手順は表現レベルで機能し、主要なタスクに関連する部分空間と任意の数の直交部分空間を分離します。
最も解きほぐされた部分空間では、クラスタリング手順を通じて追加の分類タスクが生成され、関連するラベルがその代表となります。
その後、元のデータ、主要なタスクに関連付けられたラベル、および新しく検出されたデータを任意の MTL フレームワークに入力できます。
合成データと実際のデータの両方に関する広範な検証と、さまざまなアブレーション研究により、有望な結果が実証され、これまで解明されていなかった表現の学習と MTL との間の未解明な関係の可能性が明らかになりました。
コードは承認され次第公開されます。

要約(オリジナル)

In deep learning, auxiliary objectives are often used to facilitate learning in situations where data is scarce, or the principal task is extremely complex. This idea is primarily inspired by the improved generalization capability induced by solving multiple tasks simultaneously, which leads to a more robust shared representation. Nevertheless, finding optimal auxiliary tasks that give rise to the desired improvement is a crucial problem that often requires hand-crafted solutions or expensive meta-learning approaches. In this paper, we propose a novel framework, dubbed Detaux, whereby a weakly supervised disentanglement procedure is used to discover new unrelated classification tasks and the associated labels that can be exploited with the principal task in any Multi-Task Learning (MTL) model. The disentanglement procedure works at a representation level, isolating a subspace related to the principal task, plus an arbitrary number of orthogonal subspaces. In the most disentangled subspaces, through a clustering procedure, we generate the additional classification tasks, and the associated labels become their representatives. Subsequently, the original data, the labels associated with the principal task, and the newly discovered ones can be fed into any MTL framework. Extensive validation on both synthetic and real data, along with various ablation studies, demonstrate promising results, revealing the potential in what has been, so far, an unexplored connection between learning disentangled representations and MTL. The code will be made publicly available upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google