No Free Lunch in Self Supervised Representation Learning

要約

タイトル：セルフスーパーバイズド表現学習におけるフリーランチは存在しない

要約：

– コンピュータビジョンにおけるセルフスーパーバイズド表現学習は、意味のある不変な特徴を学習するために手作りの画像変換を重視している。
– しかし、文献において変換デザインの影響に関する広範な探索は行われておらず、特に下流のパフォーマンスへの依存関係については確立されているが、十分に研究されていない。
– この関係性とそのデザインの影響を他の自然画像以外のドメインについて探索し、変換の設計を監督形式と見なせることを示す。
– 最初に、変換が下流のパフォーマンスとクラスタリングの関連性に影響を与えるだけでなく、監視されたデータセットの各カテゴリーに異なる影響を与えることを実証する。
– 次に、自然画像よりもクラス間の差異が微妙である顕微鏡画像における変換デザインの影響を探究すると、下流のタスクのパフォーマンスにより大きな影響を与えることがわかった。
– 最後に、変換デザインは監視の形態として利用できることを示し、ドメイン専門家による慎重な選択により、特定の下流タスクに対するパフォーマンスの劇的な向上が可能であることを示す。

要約(オリジナル)

Self-supervised representation learning in computer vision relies heavily on hand-crafted image transformations to learn meaningful and invariant features. However few extensive explorations of the impact of transformation design have been conducted in the literature. In particular, the dependence of downstream performances to transformation design has been established, but not studied in depth. In this work, we explore this relationship, its impact on a domain other than natural images, and show that designing the transformations can be viewed as a form of supervision. First, we demonstrate that not only do transformations have an effect on downstream performance and relevance of clustering, but also that each category in a supervised dataset can be impacted in a different way. Following this, we explore the impact of transformation design on microscopy images, a domain where the difference between classes is more subtle and fuzzy than in natural images. In this case, we observe a greater impact on downstream tasks performances. Finally, we demonstrate that transformation design can be leveraged as a form of supervision, as careful selection of these by a domain expert can lead to a drastic increase in performance on a given downstream task.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI