High-Precision Fruit Localization Using Active Laser-Camera Scanning: Robust Laser Line Extraction for 2D-3D Transformation

要約

深層学習ベースのアプローチの最近の進歩により、果物の検出は目覚ましい進歩を遂げ、複雑な環境でも確実に果物を識別できるようになりました。
しかし、ロボット収穫にとって同様に重要である果物の 3D 位置特定に関しては、あまり進歩がありません。
複雑な果実の形状や向き、果実の密集、さまざまな照明条件、葉や枝による遮蔽により、既存のセンサーが自然の果樹園環境で正確な果実の位置を特定することは大幅に制限されてきました。
この論文では、正確かつ堅牢な果物の 3D 位置特定を達成するための、アクティブ レーザー カメラ スキャニング (ALACS) と呼ばれる新しい位置特定技術の設計について報告します。
ALACS ハードウェア セットアップは、赤色ライン レーザー、RGB カラー カメラ、リニア モーション スライド、および外部 RGB-D カメラで構成されます。
ALACS は、ダイナミック ターゲティング レーザー三角測量の原理を活用し、リンゴの表面から投影された 2D レーザー ラインを 3D 位置に正確に変換できます。
レーザー パターンの取得を容易にするために、リンゴの堅牢かつ高精度の特徴抽出のためのレーザー ライン抽出 (LLE) 方法が提案されています。
LLE の包括的な評価により、さまざまな照明やオクルージョン条件下で正確なパターンを抽出する能力が実証されました。
ALACS システムは、屋内実験で市販の RealSense RGB-D カメラによる 21.5 mm と比較して、1.0 m ～ 1.6 m の範囲の距離で 6.9 ± 11.2 mm の平均リンゴ位置精度を達成しました。
果樹園の評価では、ALACS では果実の剥離率が 95% であるのに対し、RealSense カメラによる果実の剥離率は 71% であることが実証されました。
この研究は、リンゴの 3D ローカリゼーションの課題を克服することで、ロボットによる果物収穫技術の進歩に貢献します。

要約(オリジナル)

Recent advancements in deep learning-based approaches have led to remarkable progress in fruit detection, enabling robust fruit identification in complex environments. However, much less progress has been made on fruit 3D localization, which is equally crucial for robotic harvesting. Complex fruit shape/orientation, fruit clustering, varying lighting conditions, and occlusions by leaves and branches have greatly restricted existing sensors from achieving accurate fruit localization in the natural orchard environment. In this paper, we report on the design of a novel localization technique, called Active Laser-Camera Scanning (ALACS), to achieve accurate and robust fruit 3D localization. The ALACS hardware setup comprises a red line laser, an RGB color camera, a linear motion slide, and an external RGB-D camera. Leveraging the principles of dynamic-targeting laser-triangulation, ALACS enables precise transformation of the projected 2D laser line from the surface of apples to the 3D positions. To facilitate laser pattern acquisitions, a Laser Line Extraction (LLE) method is proposed for robust and high-precision feature extraction on apples. Comprehensive evaluations of LLE demonstrated its ability to extract precise patterns under variable lighting and occlusion conditions. The ALACS system achieved average apple localization accuracies of 6.9 11.2 mm at distances ranging from 1.0 m to 1.6 m, compared to 21.5 mm by a commercial RealSense RGB-D camera, in an indoor experiment. Orchard evaluations demonstrated that ALACS has achieved a 95% fruit detachment rate versus a 71% rate by the RealSense camera. By overcoming the challenges of apple 3D localization, this research contributes to the advancement of robotic fruit harvesting technology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google