In-Simulation Testing of Deep Learning Vision Models in Autonomous Robotic Manipulators

要約

自律型ロボットマニピュレータのテストは、ビジョンコンポーネントと制御コンポーネント間のソフトウェアの複雑な相互作用により困難です。
最新のロボットマニピュレーターの重要な要素は、深層学習ベースの物体検出モデルです。
このモデルの作成と評価には実世界のデータが必要ですが、特にハードウェア設定が利用できない場合には、ラベルを付けて収集するのが困難な場合があります。
現在の技術は主に、合成データを使用してディープ ニューラル ネットワーク (DDN) をトレーニングし、オフラインまたはオンラインのシミュレーション ベースのテストを通じて障害を特定することに重点を置いています。
ただし、特定された障害を利用して設計上の欠陥を早期に発見し、シミュレーション内で最適化された DNN を活用して現実世界のタスク向けの DNN エンジニアリングを加速するプロセスは依然として不明瞭です。
これらの課題に対処するために、私たちは MARTENS (Manipulator Robot Testing and Enhancement in Simulation) フレームワークを提案します。このフレームワークは、フォトリアリスティックな NVIDIA Isaac Sim シミュレーターと進化的検索を統合し、深層学習ビジョン モデルの改善とシステム設計の欠陥の発見を目的とした重要なシナリオを特定します。
2 つの産業ケーススタディの評価では、MARTENS がロボット マニピュレータ システムの故障を効果的に明らかにし、ランダムなテスト生成と比較して、より多様性に富んだ 25 % ～ 50 % 多くの故障を検出することが実証されました。
MARTENS アプローチを使用してトレーニングおよび修復されたモデルは、事前の再トレーニングなしで実世界の画像上で 0.91 および 0.82 の平均精度 (mAP) スコアを達成しました。
数エポック (10 未満) の実世界の画像をさらに微調整すると、最初と 2 番目の使用例では、mAP がそれぞれ 0.95 と 0.89 に増加しました。
対照的に、実世界のデータのみでトレーニングされたモデルは、25 エポックを超えた後、ユース ケース 1 とユース ケース 2 で 0.8 と 0.75 の mAP を達成しました。

要約(オリジナル)

Testing autonomous robotic manipulators is challenging due to the complex software interactions between vision and control components. A crucial element of modern robotic manipulators is the deep learning based object detection model. The creation and assessment of this model requires real world data, which can be hard to label and collect, especially when the hardware setup is not available. The current techniques primarily focus on using synthetic data to train deep neural networks (DDNs) and identifying failures through offline or online simulation-based testing. However, the process of exploiting the identified failures to uncover design flaws early on, and leveraging the optimized DNN within the simulation to accelerate the engineering of the DNN for real-world tasks remains unclear. To address these challenges, we propose the MARTENS (Manipulator Robot Testing and Enhancement in Simulation) framework, which integrates a photorealistic NVIDIA Isaac Sim simulator with evolutionary search to identify critical scenarios aiming at improving the deep learning vision model and uncovering system design flaws. Evaluation of two industrial case studies demonstrated that MARTENS effectively reveals robotic manipulator system failures, detecting 25 % to 50 % more failures with greater diversity compared to random test generation. The model trained and repaired using the MARTENS approach achieved mean average precision (mAP) scores of 0.91 and 0.82 on real-world images with no prior retraining. Further fine-tuning on real-world images for a few epochs (less than 10) increased the mAP to 0.95 and 0.89 for the first and second use cases, respectively. In contrast, a model trained solely on real-world data achieved mAPs of 0.8 and 0.75 for use case 1 and use case 2 after more than 25 epochs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google