Synthetic Data-based Detection of Zebras in Drone Imagery

要約

【タイトル】ドローン画像におけるシマウマの検出のための合成データベース

【要約】

– 一般的な物体や人物検出のためのデータセットは広く利用可能であるが、野生動物などの珍しいシナリオの場合は入手が困難である。
– 時には、人為的なエラーが発生することがあり、リアルなラベリングが必要となるが、それは非常に膨大な時間と費用がかかる。
– 近年、合成データ生成によるリアルなレンダリング技術が注目を集め、ターゲットトラッキングや人物姿勢推定などの課題にも応用されてきている。
– しかしながら、野生動物などの主題に関しては、そのようなデータセットでほとんど正しく表現されていないことが多い。
– 本論文では、事前に学習したYOLO検出器が、航空視点から記録された実世界の画像でシマウマを識別できないことを示した。
– この問題を解決するために、私たちは合成データだけを用いて動物検出器を訓練する手法を提案している。
– GRADEという最新のデータ生成フレームワークを使用して、新しい合成シマウマデータセットを生成した。
– このデータには、各被験者のRGB、深度、骨格ジョイント位置、ポーズ、形状、およびインスタンスセグメンテーションが含まれている。
– これを使用して、私たちはYOLO検出器をスクラッチから訓練した。
– 実際のデータセットを使用した広範な評価を行い、私たちは合成データだけを使用してシマウマを検出できることを示した。
– コード、結果、訓練されたモデル、および生成およびトレーニングデータは、オープンソースとして提供されている。

要約(オリジナル)

Datasets that allow the training of common objects or human detectors are widely available. These come in the form of labelled real-world images and require either a significant amount of human effort, with a high probability of errors such as missing labels, or very constrained scenarios, e.g. VICON systems. Likewise, uncommon scenarios, like aerial views, animals, like wild zebras, or difficult-to-obtain information as human shapes, are hardly available. To overcome this, usage of synthetic data generation with realistic rendering technologies has recently gained traction and advanced tasks like target tracking and human pose estimation. However, subjects such as wild animals are still usually not well represented in such datasets. In this work, we first show that a pre-trained YOLO detector can not identify zebras in real images recorded from aerial viewpoints. To solve this, we present an approach for training an animal detector using only synthetic data. We start by generating a novel synthetic zebra dataset using GRADE, a state-of-the-art framework for data generation. The dataset includes RGB, depth, skeletal joint locations, pose, shape and instance segmentations for each subject. We use this to train a YOLO detector from scratch. Through extensive evaluations of our model with real-world data from i) limited datasets available on the internet and ii) a new one collected and manually labelled by us, we show that we can detect zebras by using only synthetic data during training. The code, results, trained models, and both the generated and training data are provided as open-source at https://keeper.mpdl.mpg.de/d/12abb3bb6b12491480d5/.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI