MT-SLVR: Multi-Task Self-Supervised Learning for Transformation In(Variant) Representations

要約

対照的自己教師あり学習は、大規模なラベルなしデータセットから高品質の表現を作成できる能力で注目を集めています。
これらの強力な機能により、下流タスクのデータ効率の高い学習が可能になる主な理由は、これらの機能が、多くの場合有用な帰納的バイアスである拡張不変性を提供するためです。
ただし、望ましい不変性の量と種類はアプリオリには知られておらず、さまざまな下流タスクによって異なります。
したがって、パラメータ効率の高い方法でバリアント特徴と不変特徴の両方を学習するマルチタスク自己教師ありフレームワーク (MT-SLVR) を提案します。
当社のマルチタスク表現は、多様な下流タスクに役立つ強力かつ柔軟な機能を提供します。
さまざまな音声ドメインから抽出された数ショット分類タスクに対するアプローチを評価し、それらすべてで分類パフォーマンスの向上を実証します。

要約(オリジナル)

Contrastive self-supervised learning has gained attention for its ability to create high-quality representations from large unlabelled data sets. A key reason that these powerful features enable data-efficient learning of downstream tasks is that they provide augmentation invariance, which is often a useful inductive bias. However, the amount and type of invariances preferred is not known apriori, and varies across different downstream tasks. We therefore propose a multi-task self-supervised framework (MT-SLVR) that learns both variant and invariant features in a parameter-efficient manner. Our multi-task representation provides a strong and flexible feature that benefits diverse downstream tasks. We evaluate our approach on few-shot classification tasks drawn from a variety of audio domains and demonstrate improved classification performance on all of them

arxiv情報

提供元, 利用サービス

arxiv.jp, Google