FMG-Det: Foundation Model Guided Robust Object Detection

要約

オブジェクトの境界をラベル付けする際の固有の主観性のため、オブジェクト検出タスクの高品質データを収集することは困難です。
これにより、データセット全体で一貫した注釈を収集するだけでなく、それらを検証することも困難になります。これは、まったく同じ座標を使用して同じオブジェクトにラベルを付ける可能性が2つないためです。
これらの課題は、オブジェクトの境界が部分的に見えるかぼやけている場合にさらに悪化します。これは、多くのドメインで当てはまる可能性があります。
ノイズの多い注釈のトレーニングは、検出器の性能を大幅に低下させ、特に少数のショット設定で使用できません。
この作業では、騒々しい注釈を持つトレーニングモデルのためのシンプルで効率的な方法論であるFMG-DETを提案します。
より具体的には、複数のインスタンス学習（MIL）フレームワークと、トレーニング前にラベルを修正するための強力な基礎モデルを活用する前処理パイプラインと組み合わせることを提案します。
この前処理パイプラインは、検出器ヘッドのわずかな変更とともに、標準的なシナリオと少数のシナリオの両方で、多くのデータセットにわたって最先端のパフォーマンスをもたらし、他のアプローチよりもはるかにシンプルで効率的です。

要約(オリジナル)

Collecting high quality data for object detection tasks is challenging due to the inherent subjectivity in labeling the boundaries of an object. This makes it difficult to not only collect consistent annotations across a dataset but also to validate them, as no two annotators are likely to label the same object using the exact same coordinates. These challenges are further compounded when object boundaries are partially visible or blurred, which can be the case in many domains. Training on noisy annotations significantly degrades detector performance, rendering them unusable, particularly in few-shot settings, where just a few corrupted annotations can impact model performance. In this work, we propose FMG-Det, a simple, efficient methodology for training models with noisy annotations. More specifically, we propose combining a multiple instance learning (MIL) framework with a pre-processing pipeline that leverages powerful foundation models to correct labels prior to training. This pre-processing pipeline, along with slight modifications to the detector head, results in state-of-the-art performance across a number of datasets, for both standard and few-shot scenarios, while being much simpler and more efficient than other approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google