Single-Pass Object-Focused Data Selection

要約

しばしば豊富な画像データは豊富にありますが、高品質のラベルのコストは重要な実用的な課題をもたらします。特定のターゲットタスクに注釈予算を使用するためにラベル付けを選択するために選択する画像はどの画像ですか？
この問題に対処するために、単一パスデータ選択に焦点を当てます。これは、ダウンストリームモデルをトレーニングする前に、すべてのデータを一度に注釈するプロセスを指します。
シングルパスデータ選択の以前の方法は、画像レベルの表現に依存しており、オブジェクトの検出とセグメンテーションのためにランダム選択を確実に上回ることができません。
ファンデーションモデルからオブジェクトレベルの機能を活用し、すべてのターゲットクラスのセマンティックカバレッジを保証するオブジェクト中心のデータ選択（OFD）を提案します。
タスクとターゲットドメイン全体の広範な実験では、OFDは一貫してランダム選択とすべてのベースラインよりも優れています。
制約された注釈予算の最良の結果は、OFDの人間のラベルをFoundationモデルのオートラベルと組み合わせることで得られます。
さらに、OFDを使用してアクティブな学習用の初期ラベルのあるセットを選択すると、一貫した改善が得られます

要約(オリジナル)

While unlabeled image data is often plentiful, the costs of high-quality labels pose an important practical challenge: Which images should one select for labeling to use the annotation budget for a particular target task most effectively? To address this problem, we focus on single-pass data selection, which refers to the process of selecting all data to be annotated at once before training a downstream model. Prior methods for single-pass data selection rely on image-level representations and fail to reliably outperform random selection for object detection and segmentation. We propose Object-Focused Data Selection (OFDS) which leverages object-level features from foundation models and ensures semantic coverage of all target classes. In extensive experiments across tasks and target domains, OFDS consistently outperforms random selection and all baselines. The best results for constrained annotation budgets are obtained by combining human labels from OFDS with autolabels from foundation models. Moreover, using OFDS to select the initial labeled set for active learning yields consistent improvements

arxiv情報

提供元, 利用サービス

arxiv.jp, Google