Multi-Faceted Distillation of Base-Novel Commonality for Few-shot Object Detection

要約

数ショットのオブジェクト検出のための既存の方法のほとんどは、微調整パラダイムに従います。これは、クラスにとらわれない一般化可能な知識を学習し、サンプルが豊富な基本クラスからサンプルが限られた新しいクラスに、このような2つを介して暗黙的に転送できることを前提としています。
ステージトレーニング戦略。
ただし、オブジェクト検出器は、明示的なモデリングなしでは、クラスにとらわれない知識とクラス固有の知識を自動的に区別することはほとんどできないため、必ずしも正しいとは限りません。
この作業では、基本クラスと新規クラスの間の3種類のクラスにとらわれない共通性、つまり認識関連の意味的共通性、ローカリゼーション関連の意味的共通性、および分布の共通性を明示的に学習することを提案します。
3種類の共通点すべてを共同で効率的に蒸留できるメモリーバンクをベースにした統一蒸留フレームワークを設計しています。
広範な実験により、私たちの方法は、既存の微調整ベースの方法のほとんどに容易に統合でき、パフォーマンスを大幅に向上させることができます。

要約(オリジナル)

Most of existing methods for few-shot object detection follow the fine-tuning paradigm, which potentially assumes that the class-agnostic generalizable knowledge can be learned and transferred implicitly from base classes with abundant samples to novel classes with limited samples via such a two-stage training strategy. However, it is not necessarily true since the object detector can hardly distinguish between class-agnostic knowledge and class-specific knowledge automatically without explicit modeling. In this work we propose to learn three types of class-agnostic commonalities between base and novel classes explicitly: recognition-related semantic commonalities, localization-related semantic commonalities and distribution commonalities. We design a unified distillation framework based on a memory bank, which is able to perform distillation of all three types of commonalities jointly and efficiently. Extensive experiments demonstrate that our method can be readily integrated into most of existing fine-tuning based methods and consistently improve the performance by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google