DAVIS-Ag: A Synthetic Plant Dataset for Prototyping Domain-Inspired Active Vision in Agricultural Robots

要約

農業環境では、視点計画は視覚センサーを備えたロボットにとって重要な機能となり、ランダムなオクルージョンを持つ植物の複雑な構造から対象物体 (果物など) の有益な観察結果を得ることができます。
能動的視覚に関する最近の研究では、農業作業にある程度の可能性があることが示されていますが、各モデルは、後に開発される新しい方法のベンチマークとして簡単に再現できない独自の環境で設計および検証されています。
この論文では、農業におけるドメインにインスピレーションを得たアクティブ VISion に関するより広範な研究を促進するための、いわゆる DAVIS-Ag というデータセットを紹介します。
具体的には、オープンソースの「AgML」フレームワークと「Helios」の 3D 植物シミュレーターを活用して、632 の合成果樹園の 30,000 の密にサンプリングされた空間位置から 502,000 の RGB 画像を生成しました。
さらに、イチゴ、トマト、ブドウの植物環境は 2 つの異なるスケール (つまり、単一植物と複数植物) で考慮されます。
各画像には、(1) 識別可能なすべての果物の境界ボックスと (2) インスタンス セグメンテーション マスク、および (3) アクションの実行によって到達可能な視点の他の画像へのポインタを含む、便利なラベルも提供されます。
各タイム ステップでアクティブな視点の選択をシミュレートします。
DAVIS-Ag を使用して、主に葉などの他のコンポーネントによる遮蔽により、カメラ ビューの姿勢に応じて果物の可視性が劇的に変化する可能性がある、動機を与える例を視覚化します。
さらに、ターゲットの可視性を最大化するタスクにおけるベンチマーク用の実験結果を含むいくつかのベースライン モデルを紹介します。
現実世界のソリューションのプロトタイピングにデータセットを使用する実現可能性を実証するために、実際のイチゴ環境への移行可能性も調査されています。
将来の研究のために、私たちのデータセットはオンラインで公開されています: https://github.com/ctyang/DAVIS-Ag。

要約(オリジナル)

In agricultural environments, viewpoint planning can be a critical functionality for a robot with visual sensors to obtain informative observations of objects of interest (e.g., fruits) from complex structures of plant with random occlusions. Although recent studies on active vision have shown some potential for agricultural tasks, each model has been designed and validated on a unique environment that would not easily be replicated for benchmarking novel methods being developed later. In this paper, we introduce a dataset, so-called DAVIS-Ag, for promoting more extensive research on Domain-inspired Active VISion in Agriculture. To be specific, we leveraged our open-source ‘AgML’ framework and 3D plant simulator of ‘Helios’ to produce 502K RGB images from 30K densely sampled spatial locations in 632 synthetic orchards. Moreover, plant environments of strawberries, tomatoes, and grapes are considered at two different scales (i.e., Single-Plant and Multi-Plant). Useful labels are also provided for each image, including (1) bounding boxes and (2) instance segmentation masks for all identifiable fruits, and also (3) pointers to other images of the viewpoints that are reachable by an execution of action so as to simulate active viewpoint selections at each time step. Using DAVIS-Ag, we visualize motivating examples where fruit visibility can dramatically change depending on the pose of the camera view primarily due to occlusions by other components, such as leaves. Furthermore, we present several baseline models with experiment results for benchmarking in the task of target visibility maximization. Transferability to real strawberry environments is also investigated to demonstrate the feasibility of using the dataset for prototyping real-world solutions. For future research, our dataset is made publicly available online: https://github.com/ctyeong/DAVIS-Ag.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google