Diffusion Dataset Generation: Towards Closing the Sim2Real Gap for Pedestrian Detection

要約

拡散モデルを使用してシミュレートされたデータセットを拡張し、実世界のデータにおける歩行者検出のパフォーマンスを向上させる方法を提案します。
現実世界でのデータの収集と注釈付けにはコストがかかるため、トレーニング データセットを作成するためにシミュレーション プラットフォームを使用する動機になっています。
シミュレートされたデータは、収集して注釈を付けるのに安価ですが、残念ながら、sim2real ギャップとして知られる現実世界のデータの分布と必ずしも厳密に一致するとは限りません。
この論文では、困難な歩行者検出タスクの sim2real ギャップを埋めることを目的とした合成データ作成の新しい方法を提案します。
私たちの方法では、拡散ベースのアーキテクチャを使用して現実世界の分布を学習し、トレーニング後にデータセットの生成に使用します。
この生成されたデータを拡張の形式としてシミュレートされたデータと混合し、生成されたデータとシミュレートされたデータの組み合わせでトレーニングすると、純粋にシミュレートされたデータでのトレーニングと比較して、実世界のデータの歩行者検出モデルの平均精度が 27.3% も向上することを示します。
データ。

要約(オリジナル)

We propose a method that augments a simulated dataset using diffusion models to improve the performance of pedestrian detection in real-world data. The high cost of collecting and annotating data in the real-world has motivated the use of simulation platforms to create training datasets. While simulated data is inexpensive to collect and annotate, it unfortunately does not always closely match the distribution of real-world data, which is known as the sim2real gap. In this paper we propose a novel method of synthetic data creation meant to close the sim2real gap for the challenging pedestrian detection task. Our method uses a diffusion-based architecture to learn a real-world distribution which, once trained, is used to generate datasets. We mix this generated data with simulated data as a form of augmentation and show that training on a combination of generated and simulated data increases average precision by as much as 27.3% for pedestrian detection models in real-world data, compared against training on purely simulated data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google