Self-Supervised Learning for Robotic Leaf Manipulation: A Hybrid Geometric-Neural Approach

要約

農業環境での葉の操作の自動化は、植物の形態の変動や変形可能な葉の変動など、重大な課題に直面しています。
私たちは、自己監視学習を通じて、従来のコンピュータービジョンとニューラルネットワークを組み合わせた自律的な葉をつかむための新しいハイブリッド幾何学的アプローチを提案します。
私たちの方法は、たとえばセグメンテーションのためにYolov8を統合し、3D深度推定のためにRaft-stereoを統合して、豊富な葉の表現を構築します。これは、幾何学的特徴スコアリングパイプラインとニューラル精製モジュール（GrasoptointCNN）の両方にフィー​​ドします。
重要な革新は、予測の確実性に基づいて各アプローチの貢献度を動的にバランスさせる自信加重融合メカニズムです。
私たちの自己監視されたフレームワークは、幾何学的なパイプラインを専門の教師として使用して、トレーニングデータを自動的に生成します。
実験は、私たちのアプローチが制御された環境で88.0％の成功率を達成し、実際の温室条件で84.7％を達成し、純粋に幾何学（75.3％）と神経（60.2％）の両方の方法を大幅に上回ることを示しています。
この作業は、ドメインの専門知識が機械学習能力とシームレスに統合されている農業ロボット工学の新しいパラダイムを確立し、完全に自動化された作物監視システムの基盤を提供します。

要約(オリジナル)

Automating leaf manipulation in agricultural settings faces significant challenges, including the variability of plant morphologies and deformable leaves. We propose a novel hybrid geometric-neural approach for autonomous leaf grasping that combines traditional computer vision with neural networks through self-supervised learning. Our method integrates YOLOv8 for instance segmentation and RAFT-Stereo for 3D depth estimation to build rich leaf representations, which feed into both a geometric feature scoring pipeline and a neural refinement module (GraspPointCNN). The key innovation is our confidence-weighted fusion mechanism that dynamically balances the contribution of each approach based on prediction certainty. Our self-supervised framework uses the geometric pipeline as an expert teacher to automatically generate training data. Experiments demonstrate that our approach achieves an 88.0% success rate in controlled environments and 84.7% in real greenhouse conditions, significantly outperforming both purely geometric (75.3%) and neural (60.2%) methods. This work establishes a new paradigm for agricultural robotics where domain expertise is seamlessly integrated with machine learning capabilities, providing a foundation for fully automated crop monitoring systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google