WasteGAN: Data Augmentation for Robotic Waste Sorting through Generative Adversarial Networks

要約

雑然としたコンベアベルト上で認識されるべき対象物が非常に多様であることを考慮すると、ロボットによる廃棄物分別は、認識と操作の両方において重大な課題を引き起こします。
ディープラーニングは複雑なタスクの解決に効果的であることが証明されていますが、大規模なデータ収集とラベル付けが必要なため、廃棄物分別などの現実世界のシナリオへの適用は制限されています。
この問題に取り組むために、我々は、wastGAN と呼ばれる新しい GAN アーキテクチャに基づくデータ拡張手法を導入します。
提案された方法では、100 個程度の非常に限られたラベル付きサンプルの束から開始して、セマンティック セグメンテーション モデルのパフォーマンスを向上させることができます。 WasteGAN の主要な革新には、新しい損失関数、新しい活性化関数、およびより大きなジェネレーター ブロックが含まれます。
。
全体として、このようなイノベーションは、ネットワークが限られた数の例から学習し、現実世界の分布をより適切に反映するデータを合成するのに役立ちます。
次に、wasteGAN 合成データでトレーニングされたモデルから予測された高品質のセグメンテーション マスクを利用して、セマンティックを意識した把握ポーズを計算し、現実世界のシナリオでロボット アームが汚染物質を効果的に認識し、廃棄物を分離できるようにします。
データセットベースの評価と実際の実験を含む包括的な評価を通じて、当社の方法論はロボットによる廃棄物分別の有望な可能性を実証し、汚染物質のピッキングにおいて最大 5.8\% のパフォーマンス向上をもたらしました。
プロジェクト ページは https://github.com/bach05/wasteGAN.git から入手できます。

要約(オリジナル)

Robotic waste sorting poses significant challenges in both perception and manipulation, given the extreme variability of objects that should be recognized on a cluttered conveyor belt. While deep learning has proven effective in solving complex tasks, the necessity for extensive data collection and labeling limits its applicability in real-world scenarios like waste sorting. To tackle this issue, we introduce a data augmentation method based on a novel GAN architecture called wasteGAN. The proposed method allows to increase the performance of semantic segmentation models, starting from a very limited bunch of labeled examples, such as few as 100. The key innovations of wasteGAN include a novel loss function, a novel activation function, and a larger generator block. Overall, such innovations helps the network to learn from limited number of examples and synthesize data that better mirrors real-world distributions. We then leverage the higher-quality segmentation masks predicted from models trained on the wasteGAN synthetic data to compute semantic-aware grasp poses, enabling a robotic arm to effectively recognizing contaminants and separating waste in a real-world scenario. Through comprehensive evaluation encompassing dataset-based assessments and real-world experiments, our methodology demonstrated promising potential for robotic waste sorting, yielding performance gains of up to 5.8\% in picking contaminants. The project page is available at https://github.com/bach05/wasteGAN.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google