Multi-Task Meta Learning: learn how to adapt to unseen tasks

要約

この作業は、マルチタスク メタ学習 (MTML) を提案し、2 つの学習パラダイムであるマルチタスク学習 (MTL) とメタ学習を統合して、両方の長所を組み合わせます。
特に、MTL の要素である複数のタスクの同時学習と、より少ないデータで新しいタスクに迅速に適応するメタ学習の品質に焦点を当てています。
通常、同種のタスクと見なされるのとは対照的に、異なる種類の異種のタスクに焦点を当てていることを強調することが重要です (たとえば、すべてのタスクが分類である場合、またはすべてのタスクが回帰タスクである場合)。
基本的なアイデアは、目に見えないタスクが導入されたときに、より少ないステップで学習できるようにマルチタスク モデルをトレーニングすることですが、新しいタスクまたは MTL 内の包含に関する従来の単一タスク学習と少なくとも同じくらい優れたパフォーマンスを提供します。
さまざまな実験を行うことで、2 つのデータセットと 4 つのタスクでこのパラダイムを実証します。NYU-v2 と、セマンティック セグメンテーション、深度推定、表面法線推定、およびエッジ検出を実行するタスクノミー データセットです。
MTML は、ほとんどのタスクで最先端の結果を達成します。
セマンティック セグメンテーションは定量的には問題がありますが、MTML メソッドは、タスクノミー データセットの疑似ラベル付きグラウンド トゥルースに存在しないセグメンテーション クラスを識別することを学習します。

要約(オリジナル)

This work proposes Multi-task Meta Learning (MTML), integrating two learning paradigms Multi-Task Learning (MTL) and meta learning, to bring together the best of both worlds. In particular, it focuses simultaneous learning of multiple tasks, an element of MTL and promptly adapting to new tasks with fewer data, a quality of meta learning. It is important to highlight that we focus on heterogeneous tasks, which are of distinct kind, in contrast to typically considered homogeneous tasks (e.g., if all tasks are classification or if all tasks are regression tasks). The fundamental idea is to train a multi-task model, such that when an unseen task is introduced, it can learn in fewer steps whilst offering a performance at least as good as conventional single task learning on the new task or inclusion within the MTL. By conducting various experiments, we demonstrate this paradigm on two datasets and four tasks: NYU-v2 and the taskonomy dataset for which we perform semantic segmentation, depth estimation, surface normal estimation, and edge detection. MTML achieves state-of-the-art results for most of the tasks. Although semantic segmentation suffers quantitatively, our MTML method learns to identify segmentation classes absent in the pseudo labelled ground truth of the taskonomy dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google