Multi-Faceted Distillation of Base-Novel Commonality for Few-shot Object Detection

要約

既存の数撃ちゃ当たる方式は、Fine-Tuning パラダイムに従っており、潜在的には、このような2段階の学習戦略によって、クラス非依存の一般化可能な知識が、豊富なサンプルを持つ基底クラスから限られたサンプルを持つ新規クラスへと暗黙的に学習・伝達されると仮定している。しかし、物体検出器は明示的なモデル化なしにクラス不可知識とクラス固有知識を自動的に区別することは困難であるため、必ずしもそうとは言い切れない。本研究では、ベースクラスと新規クラス間のクラス不可知論的共通性（認識に関連する意味的共通性、局在に関連する意味的共通性、分布共通性）の3種類の共通性を明示的に学習することを提案する。我々は、メモリバンクに基づく統一的な蒸留フレームワークを設計し、3種類の共通性の蒸留を合同で効率的に実行することができる。広範な実験により、我々の手法は既存の微調整に基づく手法のほとんどに容易に統合でき、一貫して性能を大きく向上させることができることを実証する。

要約(オリジナル)

Most of existing methods for few-shot object detection follow the fine-tuning paradigm, which potentially assumes that the class-agnostic generalizable knowledge can be learned and transferred implicitly from base classes with abundant samples to novel classes with limited samples via such a two-stage training strategy. However, it is not necessarily true since the object detector can hardly distinguish between class-agnostic knowledge and class-specific knowledge automatically without explicit modeling. In this work we propose to learn three types of class-agnostic commonalities between base and novel classes explicitly: recognition-related semantic commonalities, localization-related semantic commonalities and distribution commonalities. We design a unified distillation framework based on a memory bank, which is able to perform distillation of all three types of commonalities jointly and efficiently. Extensive experiments demonstrate that our method can be readily integrated into most of existing fine-tuning based methods and consistently improve the performance by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL