Label-Free Synthetic Pretraining of Object Detectors

要約

我々は、合成画像を用いて物体検出器を事前学習するための新しいアプローチ、Synthetic Optimized Layout with Instance Detection (SOLID)を提案する。我々の’SOLID’アプローチは2つの主要な構成要素からなる。(1)最適化されたシーン配置を持つラベル付けされていない3Dモデルのコレクションを用いた合成画像の生成、(2)物体検出器の事前学習（ある物体が描かれたクエリー画像が与えられると、ターゲット画像内の全く同じ物体のすべてのインスタンスを検出する）。本手法では、事前学習に意味的なラベルを必要とせず、任意の多様な3次元モデルを利用することが可能である。COCOを用いた実験により、最適化されたデータ生成と適切な事前学習タスクにより、合成データは物体検出器の事前学習に非常に有効なデータとなり得ることが示された。特に、レンダリング画像に対する事前学習は、実画像に対する事前学習と同等の性能を達成し、かつ計算機資源の使用量が大幅に削減されます。コードは https://github.com/princeton-vl/SOLID で公開されています。

要約(オリジナル)

We propose a new approach, Synthetic Optimized Layout with Instance Detection (SOLID), to pretrain object detectors with synthetic images. Our ‘SOLID’ approach consists of two main components: (1) generating synthetic images using a collection of unlabelled 3D models with optimized scene arrangement; (2) pretraining an object detector on ‘instance detection’ task – given a query image depicting an object, detecting all instances of the exact same object in a target image. Our approach does not need any semantic labels for pretraining and allows the use of arbitrary, diverse 3D models. Experiments on COCO show that with optimized data generation and a proper pretraining task, synthetic data can be highly effective data for pretraining object detectors. In particular, pretraining on rendered images achieves performance competitive with pretraining on real images while using significantly less computing resources. Code is available at https://github.com/princeton-vl/SOLID.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL