Key Point-based Orientation Estimation of Strawberries for Robotic Fruit Picking

要約

選択的ロボット収穫は、世界の多くの地域で現代の農業に影響を与えている労働力不足に対処するための有望な技術的解決策です。
正確かつ効率的な収穫プロセスのために、ロボット収穫機はエンドエフェクターの軌道を効果的に計画するために果物の正確な位置と向きを必要とします。
果物の向きを推定するための現在の方法は、通常、複数のビューからの登録を必要とする完全な 3D 情報を採用するか、または基準向きの手動による注釈の取得が困難な完全教師あり学習技術に依存するかのいずれかを採用しています。
この論文では、2D 画像から 3D 方向を直接予測できる、新しいキーポイントベースの果物の方向推定方法を紹介します。
提案された手法は、完全な 3D 方向の注釈がなくても機能しますが、そのような情報を利用して精度を向上させることもできます。
実際のデータ収集シナリオから取得したイチゴ画像の 2 つの別々のデータセットに対する作業を評価します。
私たちが提案した手法は、$8^{\circ}$ という低い平均誤差で最先端のパフォーマンスを達成し、~\cite{wagner2021efficient} で発表された以前の研究と比較して、予測が $\sim30\%$ 改善されました。
さらに、私たちの方法は $\sim30$ms の高速推論時間を持つリアルタイム ロボット アプリケーションに適しています。

要約(オリジナル)

Selective robotic harvesting is a promising technological solution to address labour shortages which are affecting modern agriculture in many parts of the world. For an accurate and efficient picking process, a robotic harvester requires the precise location and orientation of the fruit to effectively plan the trajectory of the end effector. The current methods for estimating fruit orientation employ either complete 3D information which typically requires registration from multiple views or rely on fully-supervised learning techniques, which require difficult-to-obtain manual annotation of the reference orientation. In this paper, we introduce a novel key-point-based fruit orientation estimation method allowing for the prediction of 3D orientation from 2D images directly. The proposed technique can work without full 3D orientation annotations but can also exploit such information for improved accuracy. We evaluate our work on two separate datasets of strawberry images obtained from real-world data collection scenarios. Our proposed method achieves state-of-the-art performance with an average error as low as $8^{\circ}$, improving predictions by $\sim30\%$ compared to previous work presented in~\cite{wagner2021efficient}. Furthermore, our method is suited for real-time robotic applications with fast inference times of $\sim30$ms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google