Revisiting Supervision for Continual Representation Learning

要約

継続学習の分野では、モデルはタスクを次々に学習するように設計されています。
ほとんどの研究は教師あり継続学習に焦点を当ててきましたが、最近の研究では自己教師あり連続表現学習の長所が強調されています。
自己教師あり手法で構築された表現の転送可能性の向上は、多くの場合、多層パーセプトロン プロジェクターが果たす役割と関連しています。
この研究では、この観察から離れ、継続的表現学習における監督の役割を再検討します。
私たちは、人間による注釈などの追加情報によって表現の品質が低下してはならないと考えています。
私たちの調査結果は、教師ありモデルが多層パーセプトロンヘッドで強化された場合、継続的表現学習において自己教師ありモデルよりも優れたパフォーマンスを発揮できることを示しています。

要約(オリジナル)

In the field of continual learning, models are designed to learn tasks one after the other. While most research has centered on supervised continual learning, recent studies have highlighted the strengths of self-supervised continual representation learning. The improved transferability of representations built with self-supervised methods is often associated with the role played by the multi-layer perceptron projector. In this work, we depart from this observation and reexamine the role of supervision in continual representation learning. We reckon that additional information, such as human annotations, should not deteriorate the quality of representations. Our findings show that supervised models when enhanced with a multi-layer perceptron head, can outperform self-supervised models in continual representation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google