Joint 3D Point Cloud Segmentation using Real-Sim Loop: From Panels to Trees and Branches

要約

近代的な果樹園は、管理を改善するために明確なパネル部門を備えた構造化された列に植えられています。
パネルからツリーおよびブランチ（P2TB）へのポイントクラウドの正確で効率的なジョイントセグメンテーションは、ロボット操作に不可欠です。
ただし、ほとんどの現在のセグメンテーション方法は、単一のインスタンスセグメンテーションに焦点を当てており、共同タスクを実行するための一連のディープネットワークに依存しています。
この戦略は、データに組み込まれた階層情報の使用を妨げ、エラーの蓄積と注釈と計算のコストの増加の両方につながり、実際のアプリケーションのスケーラビリティを制限します。
この研究では、データ生成をトレーニングするためのReal2Sim L-TreegenとP2TBタスク用に設計された共同モデル（J-P2TB）を組み込んだ新しいアプローチを提案しました。
生成されたシミュレーションデータセットでトレーニングされたJ-P2TBモデルは、ゼロショット学習を介して実際のパネルポイントクラウドの共同セグメンテーションに使用されました。
代表的な方法と比較して、私たちのモデルは、ほとんどのセグメンテーションメトリックでそれらを上回り、学習可能なパラメーターを40％少なく使用しました。
このSIM2realの結果は、モデルトレーニングにおけるLトリーゲンの有効性と、共同セグメンテーションのJ-P2TBのパフォーマンスを強調し、現実世界アプリケーションの強力な精度、効率、および一般化可能性を示しています。
これらの改善は、自動化された果樹園の運用のためのロボットの開発に大きな利益をもたらすだけでなく、デジタルツインテクノロジーを進めます。

要約(オリジナル)

Modern orchards are planted in structured rows with distinct panel divisions to improve management. Accurate and efficient joint segmentation of point cloud from Panel to Tree and Branch (P2TB) is essential for robotic operations. However, most current segmentation methods focus on single instance segmentation and depend on a sequence of deep networks to perform joint tasks. This strategy hinders the use of hierarchical information embedded in the data, leading to both error accumulation and increased costs for annotation and computation, which limits its scalability for real-world applications. In this study, we proposed a novel approach that incorporated a Real2Sim L-TreeGen for training data generation and a joint model (J-P2TB) designed for the P2TB task. The J-P2TB model, trained on the generated simulation dataset, was used for joint segmentation of real-world panel point clouds via zero-shot learning. Compared to representative methods, our model outperformed them in most segmentation metrics while using 40% fewer learnable parameters. This Sim2Real result highlighted the efficacy of L-TreeGen in model training and the performance of J-P2TB for joint segmentation, demonstrating its strong accuracy, efficiency, and generalizability for real-world applications. These improvements would not only greatly benefit the development of robots for automated orchard operations but also advance digital twin technology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google