SF-FSDA: Source-Free Few-Shot Domain Adaptive Object Detection with Efficient Labeled Data Factory

要約

ドメイン適応型オブジェクト検出は、ラベル付きソース ドメインから学習した知識を活用して、ラベルなしターゲット ドメインのパフォーマンスを向上させることを目的としています。
従来の作業では通常、適応のためにソース ドメイン データにアクセスすることと、ターゲット ドメイン上で十分なデータが利用できることが必要でした。
ただし、データのプライバシーとまれなデータ収集により、これらの仮定が当てはまらない場合があります。
この論文では、SF-FSDA と呼ばれる、ソースフリー条件と少数ショット条件の両方における、より実用的で挑戦的なドメイン適応物体検出問題を提案し、調査します。
この問題を克服するために、効率的なラベル付きデータ ファクトリ ベースのアプローチを開発します。
データ ファクトリは、ソース ドメインにアクセスせずに、i) ターゲット ドメインからの数ショットの画像サンプルとテキストの説明に基づいて、無限量の合成されたターゲット ドメインのような画像をレンダリングします。
ii) 対応する境界ボックスとカテゴリの注釈。最小限の人的労力、つまり手動でラベルを付けたいくつかの例のみが必要です。
一方で、合成画像は、ショット数が少ない状況によってもたらされる知識不足を軽減します。
一方、一般的な擬似ラベル手法と比較して、データ ファクトリから生成されたアノテーションは、ソースの事前トレーニング済みオブジェクト検出モデルへの依存を取り除くだけでなく、ドメイン シフトとソースに起因する不可避の擬似ラベル ノイズも軽減します。
-フリーの状態。
生成されたデータセットは、ソースの事前トレーニング済み物体検出モデルを適応させるためにさらに利用され、SF-FSDA の下で堅牢な物体検出を実現します。
さまざまな設定での実験は、私たちが提案したアプローチがSF-FSDA問題に関して他の最先端の方法よりも優れていることを示しています。
私たちのコードとモデルは公開されます。

要約(オリジナル)

Domain adaptive object detection aims to leverage the knowledge learned from a labeled source domain to improve the performance on an unlabeled target domain. Prior works typically require the access to the source domain data for adaptation, and the availability of sufficient data on the target domain. However, these assumptions may not hold due to data privacy and rare data collection. In this paper, we propose and investigate a more practical and challenging domain adaptive object detection problem under both source-free and few-shot conditions, named as SF-FSDA. To overcome this problem, we develop an efficient labeled data factory based approach. Without accessing the source domain, the data factory renders i) infinite amount of synthesized target-domain like images, under the guidance of the few-shot image samples and text description from the target domain; ii) corresponding bounding box and category annotations, only demanding minimum human effort, i.e., a few manually labeled examples. On the one hand, the synthesized images mitigate the knowledge insufficiency brought by the few-shot condition. On the other hand, compared to the popular pseudo-label technique, the generated annotations from data factory not only get rid of the reliance on the source pretrained object detection model, but also alleviate the unavoidably pseudo-label noise due to domain shift and source-free condition. The generated dataset is further utilized to adapt the source pretrained object detection model, realizing the robust object detection under SF-FSDA. The experiments on different settings showcase that our proposed approach outperforms other state-of-the-art methods on SF-FSDA problem. Our codes and models will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google