Tailoring Self-Supervision for Supervised Learning

要約

最近、適切な自己監視を展開することが、教師あり学習のパフォーマンスを向上させるための有望な方法であることが示されています。
それでも、以前の口実タスクは教師なし表現学習に特化しているため、自己監視の利点は十分に活用されていません。
この目的のために、私たちは、監督された目的を支援するために、そのような補助的なタスクのための3つの望ましい特性を提示することから始めます。
まず、タスクは、豊富な機能を学習するためにモデルをガイドする必要があります。
第二に、自己監督に伴う変革は、トレーニングの分布を大きく変えるべきではありません。
第三に、先行技術への高い適用性のために、タスクは軽くて一般的であることが好ましい。
続いて、既存の口実タスクがこれらをどのように実行し、教師あり学習に合わせて調整できるかを示すために、ローカライズ可能なローテーション（LoRot）を予測する単純な補助自己監視タスクを提案します。
私たちの徹底的な実験は、堅牢性と一般化機能の観点から、教師あり学習用に調整された口実タスクとしてのLoRotのメリットを検証します。
私たちのコードはhttps://github.com/wjun0830/Localizable-Rotationで入手できます。

要約(オリジナル)

Recently, it is shown that deploying a proper self-supervision is a prospective way to enhance the performance of supervised learning. Yet, the benefits of self-supervision are not fully exploited as previous pretext tasks are specialized for unsupervised representation learning. To this end, we begin by presenting three desirable properties for such auxiliary tasks to assist the supervised objective. First, the tasks need to guide the model to learn rich features. Second, the transformations involved in the self-supervision should not significantly alter the training distribution. Third, the tasks are preferred to be light and generic for high applicability to prior arts. Subsequently, to show how existing pretext tasks can fulfill these and be tailored for supervised learning, we propose a simple auxiliary self-supervision task, predicting localizable rotation (LoRot). Our exhaustive experiments validate the merits of LoRot as a pretext task tailored for supervised learning in terms of robustness and generalization capability. Our code is available at https://github.com/wjun0830/Localizable-Rotation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google