ADROIT: A Self-Supervised Framework for Learning Robust Representations for Active Learning

要約

Active Learningは、ラベル付けに最適なサンプルを選択し、注釈コストを最小限に抑えることを目的としています。
このペーパーでは、タスク認識を備えたアクティブ学習に合わせた統一された表現学習フレームワークを紹介します。
再建、敵対的、自己監視、知識の抵抗、および分類損失を統合されたVAEベースのアドロイトアプローチに含む多様なソースを統合します。
提案されたアプローチは、3つの重要なコンポーネントで構成されています。統一表現ジェネレーター（VAE）、状態識別器、および（プロキシ）タスク学習者または分類器です。
Adroitは、ラベル付きデータと非標識データの両方を使用して潜在コードを学習し、ラベル付きデータをプロキシ分類子と活用することにより、タスク認識を組み込みます。
以前のアプローチとは異なり、Proxy分類器はさらに、ラベル付けされていないデータで自己監視された損失を採用し、ターゲットタスク学習者と整合するために知識の蒸留を利用します。
状態識別者は、ラベル付きデータと非標識データを区別し、有益な非標識サンプルの選択を促進します。
VAEと国家差別因子の間の動的な相互作用は、VAEが差別者を欺こうとする競争環境を作成し、州の判別者は、ラベル付きの入力と非標識入力を区別することを学びます。
多様なデータセットとアブレーション分析に関する広範な評価は、提案されたモデルの有効性を確認します。

要約(オリジナル)

Active learning aims to select optimal samples for labeling, minimizing annotation costs. This paper introduces a unified representation learning framework tailored for active learning with task awareness. It integrates diverse sources, comprising reconstruction, adversarial, self-supervised, knowledge-distillation, and classification losses into a unified VAE-based ADROIT approach. The proposed approach comprises three key components – a unified representation generator (VAE), a state discriminator, and a (proxy) task-learner or classifier. ADROIT learns a latent code using both labeled and unlabeled data, incorporating task-awareness by leveraging labeled data with the proxy classifier. Unlike previous approaches, the proxy classifier additionally employs a self-supervised loss on unlabeled data and utilizes knowledge distillation to align with the target task-learner. The state discriminator distinguishes between labeled and unlabeled data, facilitating the selection of informative unlabeled samples. The dynamic interaction between VAE and the state discriminator creates a competitive environment, with the VAE attempting to deceive the discriminator, while the state discriminator learns to differentiate between labeled and unlabeled inputs. Extensive evaluations on diverse datasets and ablation analysis affirm the effectiveness of the proposed model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google