GRSDet: Learning to Generate Local Reverse Samples for Few-shot Object Detection

要約

少数ショット物体検出 (FSOD) は、少数の新しいクラスのトレーニング データのみを使用して物体検出を達成することを目的としています。
既存の手法のほとんどは通常、基本クラスの知識を転送することによって新しいクラス分布を構築する転送学習戦略を採用しています。
ただし、この直接的な方法では、新しいクラスと意思決定空間内の他の同様のカテゴリとの間で混乱が生じやすくなります。
この問題に対処するために、プロトタイプ参照フレームでローカル逆サンプル (LRSamples) を生成し、新規クラス分布の中心位置と境界範囲を適応的に調整して、FSOD のより識別可能な新規クラス サンプルを学習することを提案します。
まず、センター キャリブレーション分散拡張 (CCVA) モジュールを提案します。これには、LRSamples の選択ルール、LRSamples のジェネレーター、およびキャリブレーションされた配送センターの拡張が含まれます。
具体的には、選択ルールを学習するための CCVA の生成器としてクラス内特徴コンバーター (IFC) を設計します。
IFC の知識を基本トレーニングから微調整に移すことにより、IFC は新しいクラス分布を調整するための豊富な新しいサンプルを生成します。
さらに、決定境界からの距離に応じてサンプルの重要性を適応的に調整する特徴密度境界最適化 (FDBO) モジュールを提案します。
類似クラスの高密度領域 (より近い決定境界領域) の重要性を強調し、類似クラスの低密度領域 (より遠い決定境界領域) の重みを軽減することで、それぞれのより明確な決定境界を最適化できます。
カテゴリー。
私たちは、提案した手法の有効性を実証するために広範な実験を実施します。
私たちの方法は、DeFRCN および MFDC ベースラインに基づいて、Pascal VOC および MS COCO データセットで一貫した改善を達成します。

要約(オリジナル)

Few-shot object detection (FSOD) aims to achieve object detection only using a few novel class training data. Most of the existing methods usually adopt a transfer-learning strategy to construct the novel class distribution by transferring the base class knowledge. However, this direct way easily results in confusion between the novel class and other similar categories in the decision space. To address the problem, we propose generating local reverse samples (LRSamples) in Prototype Reference Frames to adaptively adjust the center position and boundary range of the novel class distribution to learn more discriminative novel class samples for FSOD. Firstly, we propose a Center Calibration Variance Augmentation (CCVA) module, which contains the selection rule of LRSamples, the generator of LRSamples, and augmentation on the calibrated distribution centers. Specifically, we design an intra-class feature converter (IFC) as the generator of CCVA to learn the selecting rule. By transferring the knowledge of IFC from the base training to fine-tuning, the IFC generates plentiful novel samples to calibrate the novel class distribution. Moreover, we propose a Feature Density Boundary Optimization (FDBO) module to adaptively adjust the importance of samples depending on their distance from the decision boundary. It can emphasize the importance of the high-density area of the similar class (closer decision boundary area) and reduce the weight of the low-density area of the similar class (farther decision boundary area), thus optimizing a clearer decision boundary for each category. We conduct extensive experiments to demonstrate the effectiveness of our proposed method. Our method achieves consistent improvement on the Pascal VOC and MS COCO datasets based on DeFRCN and MFDC baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google