Bridging Diversity and Uncertainty in Active learning with Self-Supervised Pre-Training

要約

この研究は、特に自己教師付き事前トレーニング済みモデルのコンテキスト内での、アクティブラーニングにおける多様性ベースと不確実性ベースのサンプリング戦略の統合に取り組んでいます。
さまざまなデータ レベルにわたって強力なパフォーマンスを維持しながら、コールド スタートの問題を軽減する、TCM と呼ばれる簡単なヒューリスティックを導入します。
最初に多様性サンプリングに TypiClust を適用し、その後マージンを使用した不確実性サンプリングに移行することで、私たちのアプローチは両方の戦略の長所を効果的に組み合わせます。
私たちの実験は、TCM が低データ領域と高データ領域の両方で、さまざまなデータセットにわたって既存の手法よりも一貫して優れていることを示しています。

要約(オリジナル)

This study addresses the integration of diversity-based and uncertainty-based sampling strategies in active learning, particularly within the context of self-supervised pre-trained models. We introduce a straightforward heuristic called TCM that mitigates the cold start problem while maintaining strong performance across various data levels. By initially applying TypiClust for diversity sampling and subsequently transitioning to uncertainty sampling with Margin, our approach effectively combines the strengths of both strategies. Our experiments demonstrate that TCM consistently outperforms existing methods across various datasets in both low and high data regimes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google