Parameter-Efficient Active Learning for Foundational models

要約

基本的なビジョン トランスフォーマー モデルは、多くのビジョン タスクで数回のショットで印象的なパフォーマンスを示しました。
この研究は、非常に予算に制約のある分類タスクにおけるサンプリング選択プロセスを進めるための、アクティブ ラーニング (AL) フレームワーク内でのパラメーター効率の良い微調整手法の適用に関する新しい調査を示しています。
分布外の特性で知られる画像データセットに焦点を当てることで、私たちの研究はさらに複雑になり、関連性が高まります。
詳細な評価を通じて、これらの困難なデータセットでの AL パフォーマンスの向上を示し、パラメーターの効率的な微調整方法と基礎モデルを統合することの戦略的利点を強調します。
これは、AL 戦略の最適化に関する広範な議論に貢献し、特殊なドメインで効率的かつ効果的なデータ アノテーションを実現するための基礎モデルを活用する将来の探求に有望な道筋を示します。

要約(オリジナル)

Foundational vision transformer models have shown impressive few shot performance on many vision tasks. This research presents a novel investigation into the application of parameter efficient fine-tuning methods within an active learning (AL) framework, to advance the sampling selection process in extremely budget constrained classification tasks. The focus on image datasets, known for their out-of-distribution characteristics, adds a layer of complexity and relevance to our study. Through a detailed evaluation, we illustrate the improved AL performance on these challenging datasets, highlighting the strategic advantage of merging parameter efficient fine tuning methods with foundation models. This contributes to the broader discourse on optimizing AL strategies, presenting a promising avenue for future exploration in leveraging foundation models for efficient and effective data annotation in specialized domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google