Meta-ZSDETR: Zero-shot DETR with Meta-learning

要約

ゼロショットオブジェクト検出は、目に見えないクラスのオブジェクトを位置特定して認識することを目的としています。
既存の作品のほとんどは、未見のクラスにおける RPN の再現率が低いことと、未見のクラスと背景の混同という 2 つの問題に直面しています。
この論文では、DETR とメタ学習を組み合わせてゼロショット物体検出を実行する最初の方法 (Meta-ZSDETR と呼ばれる) を紹介します。この方法では、モデルのトレーニングが個々のエピソード ベースのメタ学習タスクとして形式化されます。
最初にクラスに依存しない提案を生成し、それを視覚的意味論的調整モジュールで分類する Faster R-CNN ベースの手法とは異なり、Meta-ZSDETR はクラス固有のクエリでクラス固有のボックスを直接予測し、予測精度でさらにフィルタリングします。
分類責任者。
モデルは、クラス固有のボックスの座標を生成する回帰ヘッド、生成されたボックスの精度を予測する分類ヘッド、および提案されたコントラスト再構成損失を利用してさらなる分析を行うコントラスト ヘッドを含むメタ対照学習で最適化されています。
視覚空間で異なるクラスを分離します。
私たちは 2 つのベンチマーク データセット MS COCO と PASCAL VOC に対して広範な実験を行っています。
実験結果は、私たちの方法が既存の ZSD 方法よりも大幅に優れていることを示しています。

要約(オリジナル)

Zero-shot object detection aims to localize and recognize objects of unseen classes. Most of existing works face two problems: the low recall of RPN in unseen classes and the confusion of unseen classes with background. In this paper, we present the first method that combines DETR and meta-learning to perform zero-shot object detection, named Meta-ZSDETR, where model training is formalized as an individual episode based meta-learning task. Different from Faster R-CNN based methods that firstly generate class-agnostic proposals, and then classify them with visual-semantic alignment module, Meta-ZSDETR directly predict class-specific boxes with class-specific queries and further filter them with the predicted accuracy from classification head. The model is optimized with meta-contrastive learning, which contains a regression head to generate the coordinates of class-specific boxes, a classification head to predict the accuracy of generated boxes, and a contrastive head that utilizes the proposed contrastive-reconstruction loss to further separate different classes in visual space. We conduct extensive experiments on two benchmark datasets MS COCO and PASCAL VOC. Experimental results show that our method outperforms the existing ZSD methods by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google