Mask Frozen-DETR: High Quality Instance Segmentation with One GPU

要約

このペーパーでは、より長いトレーニング時間と高いコストを犠牲にしてより高度なフレームワークを構築することでより正確なインスタンス セグメンターを追求する現在のアプローチの大部分とは対照的に、最小限のトレーニング時間と GPU で強力なインスタンス セグメンターを構築する方法を研究することを目的としています。
GPU の要件。
これを実現するために、既存の DETR ベースの物体検出モデルを強力なインスタンス セグメンテーション モデルに変換できる、Mask Frozen-DETR と呼ばれるシンプルで一般的なフレームワークを導入します。
私たちの方法では、凍結された DETR ベースのオブジェクト検出器によって与えられる境界ボックス内のインスタンス マスクを予測する追加の軽量マスク ネットワークをトレーニングするだけで済みます。
注目すべきことに、私たちのメソッドは、COCO テストと開発の分割 (55.3% 対 54.7%) でのパフォーマンスの点で、最先端のインスタンス セグメンテーション メソッドである Mask DINO を上回り、トレーニング速度も 10 倍以上高速です。
さらに、すべての実験は、16 GB のメモリを備えた 1 つの Tesla V100 GPU のみを使用してトレーニングでき、提案したフレームワークの大幅な効率が実証されています。

要約(オリジナル)

In this paper, we aim to study how to build a strong instance segmenter with minimal training time and GPUs, as opposed to the majority of current approaches that pursue more accurate instance segmenter by building more advanced frameworks at the cost of longer training time and higher GPU requirements. To achieve this, we introduce a simple and general framework, termed Mask Frozen-DETR, which can convert any existing DETR-based object detection model into a powerful instance segmentation model. Our method only requires training an additional lightweight mask network that predicts instance masks within the bounding boxes given by a frozen DETR-based object detector. Remarkably, our method outperforms the state-of-the-art instance segmentation method Mask DINO in terms of performance on the COCO test-dev split (55.3% vs. 54.7%) while being over 10X times faster to train. Furthermore, all of our experiments can be trained using only one Tesla V100 GPU with 16 GB of memory, demonstrating the significant efficiency of our proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google