DAVIS-Ag: A Synthetic Plant Dataset for Developing Domain-Inspired Active Vision in Agricultural Robots

要約

農業環境では、視点計画は、視覚センサーを備えたロボットにとって重要な機能であり、ランダムなオクルージョンを持つ植物の複雑な構造から関心のあるオブジェクト (果物など) の有益な観察結果を得ることができます。
アクティブ ビジョンに関する最近の研究では、農業タスクの可能性が示されていますが、各モデルは、後で開発される新しい方法をベンチマークするために簡単に複製できない独自の環境で設計および検証されています。
したがって、この論文では、農業におけるドメインにインスパイアされたアクティブビジョン（DAVIS-Ag）に関するより広範な研究のためのデータセットを紹介します。
具体的には、オープンソースの「AgML」フレームワークと「Helios」の 3D 植物シミュレーターを利用して、リアルに合成された 632 のイチゴ、トマト、ブドウの果樹園の 30K の密な空間位置から 502K RGB 画像を生成しました。
さらに、(1) バウンディング ボックス、(2) すべての識別可能な果物のピクセルごとのインスタンス セグメンテーション、および (3) アクションの実行によって到達可能な他の画像へのポインターを含む、各画像に役立つラベルが提供されます。
各時間ステップでの視点のアクティブな選択をシミュレートします。
DAVIS-Ag を使用して、主に葉などの他のコンポーネントによるオクルージョンが原因で、同じ植物の果実検出のパフォーマンスがカメラ ビューの位置と向きによって大きく異なる可能性があるという動機付けの例を示します。
さらに、いくつかのベースライン モデルを開発して、農業用アクティブ ビジョン タスクの 1 つである果物検索の最適化を使用したデータの「使用法」を紹介し、将来の研究が方法論のベンチマークとなる評価結果を提供します。
関連する研究を奨励するために、私たちのデータセットはオンラインで公開され、https://github.com/ctyeong/DAVIS-Ag で自由に利用できます。

要約(オリジナル)

In agricultural environments, viewpoint planning can be a critical functionality for a robot with visual sensors to obtain informative observations of objects of interest (e.g., fruits) from complex structures of plant with random occlusions. Although recent studies on active vision have shown some potential for agricultural tasks, each model has been designed and validated on a unique environment that would not easily be replicated for benchmarking novel methods being developed later. In this paper, hence, we introduce a dataset for more extensive research on Domain-inspired Active VISion in Agriculture (DAVIS-Ag). To be specific, we utilized our open-source ‘AgML’ framework and the 3D plant simulator of ‘Helios’ to produce 502K RGB images from 30K dense spatial locations in 632 realistically synthesized orchards of strawberries, tomatoes, and grapes. In addition, useful labels are provided for each image, including (1) bounding boxes and (2) pixel-wise instance segmentations for all identifiable fruits, and also (3) pointers to other images that are reachable by an execution of action so as to simulate the active selection of viewpoint at each time step. Using DAVIS-Ag, we show the motivating examples in which performance of fruit detection for the same plant can significantly vary depending on the position and orientation of camera view primarily due to occlusions by other components such as leaves. Furthermore, we develop several baseline models to showcase the ‘usage’ of data with one of agricultural active vision tasks–fruit search optimization–providing evaluation results against which future studies could benchmark their methodologies. For encouraging relevant research, our dataset is released online to be freely available at: https://github.com/ctyeong/DAVIS-Ag

arxiv情報

提供元, 利用サービス

arxiv.jp, Google