Self-Supervised Siamese Autoencoders

要約

タイトル：自己教師ありサイミーズ自己符号化器
要約：
– 完全な教師ありモデルは大量のラベル付けされたトレーニングデータを必要とするため、コストがかかり取得が困難である。
– 対照的に、自己教師あり表現学習は、同じまたはより高いダウンストリームパフォーマンスを実現するために必要なラベル付きデータの量を減らす。
– 目標は、自己教師ありタスクで深層ニューラルネットワークを事前トレーニングすることであり、その後、ネットワークが生の入力データから意味のあるフィーチャを抽出できるようにすることです。
– これらのフィーチャは、画像分類などのダウンストリームタスクで入力として使用されます。
– 以前に、オートエンコーダーとシャミセットワーク(SimSiam)は、これらのタスクで成功を収めてきました。
– しかし、課題は、特徴の特性(例えば、詳細レベル)を与えられたタスクとデータセットにマッチングさせることです。
– この論文では、サイミーズアーキテクチャとノイズ除去オートエンコーダーの利点を組み合わせた新しい自己教師あり方法(SidAE)を提案しています。
– 学習済みモデルを複数のデータセット、設定、シナリオで比較し、わずかなラベルデータしか利用できない条件を含め、SidAEが2つの自己教師あり基準に勝ることを示しています。

要約(オリジナル)

Fully supervised models often require large amounts of labeled training data, which tends to be costly and hard to acquire. In contrast, self-supervised representation learning reduces the amount of labeled data needed for achieving the same or even higher downstream performance. The goal is to pre-train deep neural networks on a self-supervised task such that afterwards the networks are able to extract meaningful features from raw input data. These features are then used as inputs in downstream tasks, such as image classification. Previously, autoencoders and Siamese networks such as SimSiam have been successfully employed in those tasks. Yet, challenges remain, such as matching characteristics of the features (e.g., level of detail) to the given task and data set. In this paper, we present a new self-supervised method that combines the benefits of Siamese architectures and denoising autoencoders. We show that our model, called SidAE (Siamese denoising autoencoder), outperforms two self-supervised baselines across multiple data sets, settings, and scenarios. Crucially, this includes conditions in which only a small amount of labeled data is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI