Learning from Similar Linear Representations: Adaptivity, Minimaxity, and Robustness

要約

タイトル：類似した線形表現から学習する：適応性、最小化、ロバスト性
要約：
– マルチタスク学習（MTL）および転移学習（TL）の表現は実際には大きな成功を収めているが、これらの方法の理論的理解はまだ不十分である。
– 複数のタスクが存在する場合、これらのタスクがすべて同じ表現を共有すると仮定することは現実的ではなく、また単一タスクまたはターゲットのみの学習性能を向上させるとは限らない。
– 類似したが完全に同じでない線形表現からタスクを学習する方法について理解しようとする。
– 類似構造に適応するアルゴリズムと、両方のMTLおよびTL設定では外れ値に強いアルゴリズムを提案。
– レプリゼンテーション間の類似性が十分に高く、外れ値の割合が小さい場合、アルゴリズムは単一タスクまたはターゲットのみの学習を上回る。
– アルゴリズムは、レプリゼンテーションが異なる場合でも、単一タスク学習またはターゲットのみの学習よりも悪くはならない。
– アルゴリズムは、大きな範囲では、ほぼ最小限の最適性であることを示す情報理論的な下限を提供する。

要約(オリジナル)

Representation multi-task learning (MTL) and transfer learning (TL) have achieved tremendous success in practice. However, the theoretical understanding of these methods is still lacking. Most existing theoretical works focus on cases where all tasks share the same representation, and claim that MTL and TL almost always improve performance. However, as the number of tasks grow, assuming all tasks share the same representation is unrealistic. Also, this does not always match empirical findings, which suggest that a shared representation may not necessarily improve single-task or target-only learning performance. In this paper, we aim to understand how to learn from tasks with \textit{similar but not exactly the same} linear representations, while dealing with outlier tasks. We propose two algorithms that are \textit{adaptive} to the similarity structure and \textit{robust} to outlier tasks under both MTL and TL settings. Our algorithms outperform single-task or target-only learning when representations across tasks are sufficiently similar and the fraction of outlier tasks is small. Furthermore, they always perform no worse than single-task learning or target-only learning, even when the representations are dissimilar. We provide information-theoretic lower bounds to show that our algorithms are nearly \textit{minimax} optimal in a large regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI