Jacquard V2: Refining Datasets using the Human In the Loop Data Correction Method

要約

産業オートメーションの急速な進歩の中で、視覚ベースのロボットによる把握はますます重要な役割を果たしています。
視覚認識の精度を高めるためには、大規模なデータセットを活用してモデルをトレーニングし、さまざまなオブジェクトの取り扱いに関する暗黙の知識を取得することが不可欠です。
データセットを最初から作成するのは、時間と労力がかかるプロセスです。
さらに、既存のデータセットには便宜を目的とした自動アノテーションによるエラーが含まれることが多く、これらのデータセットの改善が大きな研究課題となっています。
その結果、一般的な Jacquard Grasp 内の把握境界ボックスの注釈にいくつかの問題が確認されました。
データセットの品質を向上させるためにヒューマンインザループ(HIL)手法を利用することを提案します。
このアプローチは、バックボーン深層学習ネットワークに依存して、ロボットによる把握のための物体の位置と方向を予測します。
Intersection over Union (IOU) 値が 0.2 未満の予測は、人間のオペレーターによる評価を受けます。
評価後、データは偽陰性 (FN) と真陰性 (TN) に分類されます。
その後、FN は、注釈の欠落または致命的なラベル付けエラーのいずれかにサブ分類されます。
ラベルのない画像は有効な把握境界ボックス情報で強化されますが、壊滅的なラベル付けエラーに悩まされている画像は完全に削除されます。
オープンソース ツール Labelbee は、HIL データセット拡張の 53,026 回の反復に使用され、2,884 枚の画像が削除され、30,292 枚の画像のグラウンド トゥルース情報が組み込まれました。
Jacquard V2 Grasping Dataset と名付けられた強化されたデータセットは、さまざまなニューラル ネットワークのトレーニング データとして機能しました。

要約(オリジナル)

In the context of rapid advancements in industrial automation, vision-based robotic grasping plays an increasingly crucial role. In order to enhance visual recognition accuracy, the utilization of large-scale datasets is imperative for training models to acquire implicit knowledge related to the handling of various objects. Creating datasets from scratch is a time and labor-intensive process. Moreover, existing datasets often contain errors due to automated annotations aimed at expediency, making the improvement of these datasets a substantial research challenge. Consequently, several issues have been identified in the annotation of grasp bounding boxes within the popular Jacquard Grasp. We propose utilizing a Human-In-The-Loop(HIL) method to enhance dataset quality. This approach relies on backbone deep learning networks to predict object positions and orientations for robotic grasping. Predictions with Intersection over Union (IOU) values below 0.2 undergo an assessment by human operators. After their evaluation, the data is categorized into False Negatives(FN) and True Negatives(TN). FN are then subcategorized into either missing annotations or catastrophic labeling errors. Images lacking labels are augmented with valid grasp bounding box information, whereas images afflicted by catastrophic labeling errors are completely removed. The open-source tool Labelbee was employed for 53,026 iterations of HIL dataset enhancement, leading to the removal of 2,884 images and the incorporation of ground truth information for 30,292 images. The enhanced dataset, named the Jacquard V2 Grasping Dataset, served as the training data for a range of neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google