Avoid Wasted Annotation Costs in Open-set Active Learning with Pre-trained Vision-Language Model

要約

アクティブ ラーニング (AL) は、情報量の高いデータを選択的に収集することでモデルのパフォーマンスを向上させ、それによってアノテーションのコストを最小限に抑えることを目的としています。
ただし、実際のシナリオでは、ラベルのないデータには配布外 (OOD) サンプルが含まれている可能性があり、データが誤って選択された場合にはアノテーション コストの無駄が発生します。
最近の研究では、オープンセット データに AL を適用する方法が検討されていますが、これらの方法では、コストを最小限に抑えるためにコスト損失が必要になるか、避けられないコスト損失が発生することがよくあります。
これらの課題に対処するために、OOD サンプルを必要とせずにコスト損失を最小限に抑える、新しい選択戦略である CLIPN for AL (CLIPNAL) を提案します。
CLIPNAL は、データの純度と有益性を逐次評価します。
まず、事前トレーニング済みの視覚言語モデルを利用し、追加のトレーニングを行わずに、配信中 (ID) データの言語情報と視覚情報を活用して OOD データを検出および除外します。
次に、残りの ID データから情報量の高いデータを選択し、選択されたサンプルに人間の専門家によって注釈が付けられます。
さまざまなオープンセット条件のデータセットに対する実験結果は、CLIPNAL がすべてのシナリオにわたって最小のコスト損失と最高のパフォーマンスを達成することを示しています。
コードは https://github.com/DSBA-Lab/OpenAL で入手できます。

要約(オリジナル)

Active learning (AL) aims to enhance model performance by selectively collecting highly informative data, thereby minimizing annotation costs. However, in practical scenarios, unlabeled data may contain out-of-distribution (OOD) samples, leading to wasted annotation costs if data is incorrectly selected. Recent research has explored methods to apply AL to open-set data, but these methods often require or incur unavoidable cost losses to minimize them. To address these challenges, we propose a novel selection strategy, CLIPN for AL (CLIPNAL), which minimizes cost losses without requiring OOD samples. CLIPNAL sequentially evaluates the purity and informativeness of data. First, it utilizes a pre-trained vision-language model to detect and exclude OOD data by leveraging linguistic and visual information of in-distribution (ID) data without additional training. Second, it selects highly informative data from the remaining ID data, and then the selected samples are annotated by human experts. Experimental results on datasets with various open-set conditions demonstrate that CLIPNAL achieves the lowest cost loss and highest performance across all scenarios. Code is available at https://github.com/DSBA-Lab/OpenAL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google