DT/MARS-CycleGAN: Improved Object Detection for MARS Phenotyping Robot

要約

ロボットによる作物の表現型解析は、作物の形態学的および生理学的特性を大規模に評価するための重要な技術として浮上しています。
これらの表現型測定は、生産性の向上や気候変動などの環境課題への対処を目的とした新しい作物品種の開発に不可欠です。
しかし、作物表現型解析ロボットの開発と導入は、ロボットによる物体検出を複雑にする複雑で可変的な作物の形状、ロボット制御を妨げる動的で非構造的な環境、ロボットのハードウェア/ソフトウェアの課題となるリアルタイムコンピューティングとビッグデータの管理など、多くの課題に直面しています。
この研究では、モジュラー農業ロボット システム (MARS) の複雑で変動する背景からの作物オブジェクトの検出を改善するための画像拡張用の新しいデジタル ツイン(DT)MARS-CycleGAN モデルを提案することで、最初の課題に具体的に取り組んでいます。
私たちの中心的なアイデアは、CycleGAN モデルのサイクル一貫性損失に加えて、深層学習モデルに新しい DT-MARS 損失を設計して適用し、MARS によってキャプチャされた実際の作物画像と DT MARS によって感知された合成画像の間の不一致をペナルティするというものです。
。
したがって、生成された合成クロップ画像はリアリズムの点で実際の画像を忠実に模倣しており、YOLOv8 などの物体検出器の微調整に使用されます。
広範な実験により、当社の新しい DT/MARS-CycleGAN フレームワークが MARS の作物オブジェクト/列検出器のパフォーマンスを大幅に向上させ、ロボットによる作物の表現型解析の分野に貢献することが実証されました。

要約(オリジナル)

Robotic crop phenotyping has emerged as a key technology to assess crops’ morphological and physiological traits at scale. These phenotypical measurements are essential for developing new crop varieties with the aim of increasing productivity and dealing with environmental challenges such as climate change. However, developing and deploying crop phenotyping robots face many challenges such as complex and variable crop shapes that complicate robotic object detection, dynamic and unstructured environments that baffle robotic control, and real-time computing and managing big data that challenge robotic hardware/software. This work specifically tackles the first challenge by proposing a novel Digital-Twin(DT)MARS-CycleGAN model for image augmentation to improve our Modular Agricultural Robotic System (MARS)’s crop object detection from complex and variable backgrounds. Our core idea is that in addition to the cycle consistency losses in the CycleGAN model, we designed and enforced a new DT-MARS loss in the deep learning model to penalize the inconsistency between real crop images captured by MARS and synthesized images sensed by DT MARS. Therefore, the generated synthesized crop images closely mimic real images in terms of realism, and they are employed to fine-tune object detectors such as YOLOv8. Extensive experiments demonstrated that our new DT/MARS-CycleGAN framework significantly boosts our MARS’ crop object/row detector’s performance, contributing to the field of robotic crop phenotyping.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google