Adaptive Vision-Guided Robotic Arm Control for Precision Pruning in Dynamic Orchard Environments

要約

この研究では、自動化された果樹枝の剪定アプリケーション用の視覚誘導ロボット制御システムを提示します。
従来の農業慣行は、スケーラビリティと効率性を欠く労働集約的なタスクとプロセスに依存しており、より高い作物収量、スケーラブルな操作、および肉体労働の削減に対する増大する需要に対処するための自動化研究の緊急の必要性を生み出します。
この目的のために、このペーパーでは、密集した果樹園での堅牢で自動化された果物剪定のための新しいアルゴリズムを提案しています。
提案されたアルゴリズムは、コットラッカーを利用します。これは、大きな堅牢性と精度を持つビデオシーケンスの2D機能ポイントを追跡するように設計されていますが、共同注意メカニズムを活用してインターポイント依存性を説明し、困難で洗練された条件下で堅牢で正確な追跡を可能にします。
Cotrackerの有効性を検証するために、Universal RobotsマニピュレーターUR5Eは、Intel RealSense D435カメラを備えたClearPath Robotics Warthog Robotに取り付けられたGazeboシミュレーション環境で採用されています。
このシステムは、剪定試験で93％の成功率を達成し、平均末端軌道誤差は0.23 mmでした。
ビジョンコントローラーは、アームがターゲットポイントに向かって移動するにつれて、閉塞の取り扱いと安定した軌道の維持における堅牢なパフォーマンスを実証しました。
結果は、視覚ベースの追跡を統合することの有効性を、精密な農業タスクの運動学的制御と統合します。
将来の作業は、実際の実装と、動的環境での適応性を向上させるための3D再構成技術の統合に焦点を当てます。

要約(オリジナル)

This study presents a vision-guided robotic control system for automated fruit tree pruning applications. Traditional agricultural practices rely on labor-intensive tasks and processes that lack scalability and efficiency, creating a pressing need for automation research to address growing demands for higher crop yields, scalable operations, and reduced manual labor. To this end, this paper proposes a novel algorithm for robust and automated fruit pruning in dense orchards. The proposed algorithm utilizes CoTracker, that is designed to track 2D feature points in video sequences with significant robustness and accuracy, while leveraging joint attention mechanisms to account for inter-point dependencies, enabling robust and precise tracking under challenging and sophisticated conditions. To validate the efficacy of CoTracker, a Universal Robots manipulator UR5e is employed in a Gazebo simulation environment mounted on ClearPath Robotics Warthog robot featuring an Intel RealSense D435 camera. The system achieved a 93% success rate in pruning trials and with an average end trajectory error of 0.23 mm. The vision controller demonstrated robust performance in handling occlusions and maintaining stable trajectories as the arm move towards the target point. The results validate the effectiveness of integrating vision-based tracking with kinematic control for precision agricultural tasks. Future work will focus on real-world implementation and the integration of 3D reconstruction techniques for enhanced adaptability in dynamic environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google