3D Branch Point Cloud Completion for Robotic Pruning in Apple Orchards

要約

ロボットによる枝剪定は、農業における労働力不足に対処するため、著しく成長している研究分野です。
ロボットによる剪定における基本的な要件の 1 つは、枝の詳細な形状とトポロジーを認識することです。
ただし、農業環境で取得された点群は、いくつかの制約により不完全性を示すことが多く、そのため下流のロボットによる剪定の精度が制限されます。
この作業では、手動パラメータ化の必要性を排除するだけでなく、シミュレーションの現実性を保証する Real-to-Simulation (Real2Sim) データ生成パイプラインを利用して、シミュレーション ベースのディープ ニューラル ネットワークを通じて点群の品質の問題に取り組みました。
データ。
シミュレーション ベースのニューラル ネットワークは、実世界の追加のトレーニングを行わずに、実世界の部分分岐で点群の完成とスケルトン化を共同で実行するために適用されました。
Sim2Real の定性的な完成とスケルトン化の結果は、ジオメトリの再構築とトポロジの予測に対するモデルの優れた機能を示しました。
さらに、未加工の不完全データと完全なデータを使用してブランチレベルの特性特性評価エラーを比較することにより、Sim2Real のパフォーマンスを定量的に評価しました。
最良の完全なデータを使用した場合、分岐直径と分岐角度の推定で平均絶対誤差 (MAE) がそれぞれ 75% と 8% 減少しました。これは、ゼロショット汎化設定における Real2Sim データの有効性を示しています。
特性評価の改善により、ロボットによる枝剪定の精度と効率が向上しました。

要約(オリジナル)

Robotic branch pruning is a significantly growing research area to cope with the shortage of labor force in the context of agriculture. One fundamental requirement in robotic pruning is the perception of detailed geometry and topology of branches. However, the point clouds obtained in agricultural settings often exhibit incompleteness due to several constraints, thereby restricting the accuracy of downstream robotic pruning. In this work, we addressed the issue of point cloud quality through a simulation-based deep neural network, leveraging a Real-to-Simulation (Real2Sim) data generation pipeline that not only eliminates the need for manual parameterization but also guarantees the realism of simulated data. The simulation-based neural network was applied to jointly perform point cloud completion and skeletonization on real-world partial branches, without additional real-world training. The Sim2Real qualitative completion and skeletonization results showed the model’s remarkable capability for geometry reconstruction and topology prediction. Additionally, we quantitatively evaluated the Sim2Real performance by comparing branch-level trait characterization errors using raw incomplete data and complete data. The Mean Absolute Error (MAE) reduced by 75% and 8% for branch diameter and branch angle estimation, respectively, using the best complete data, which indicates the effectiveness of the Real2Sim data in a zero-shot generalization setting. The characterization improvements contributed to the precision and efficacy of robotic branch pruning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google