MMRNet: Improving Reliability for Multimodal Object Detection and Segmentation for Bin Picking via Multimodal Redundancy

要約

タイトル：MMRNet：Multimodal Redundancyを介したビンピッキングのための多様な物体検出とセグメンテーションの信頼性向上

要約：

– 産業4.0の基盤である人手不足の問題を解決するために、人工知能を活用したロボットビンピッキングシステムの実世界への展開に大きな関心が寄せられている。
– 人工知能を活用したロボットビンピッキングシステムは、注文ピッキングを自動化するために使用されることがあり、個々の異常事象（例：センサー障害）による高額な損害のリスクがあるため、信頼性が実世界への展開において重要な要因となる。
– 本論文では、複数のモダリティからのデータを使用してビンピッキングのための物体検出とセグメンテーションに取り組むための信頼性の高いシステムであるMultiModal Redundancy（MMRNet）を提案する。
– 特に、ゲートフュージョンモジュールとダイナミックアンサンブル学習を使用して、モダリティの不足のイベントに対処するために、多様な冗長性フレームワークを実現する。
– 最後に、すべてのモダリティからの出力を使用して、総合的なシステム出力の信頼性と不確実性を測定する新しいラベルフリーのマルチモーダル一貫性（MC）スコアを提示する。
– 実験により、モダリティの不足の状況で、本システムがベースラインモデルと比較してより信頼性の高いパフォーマンスを提供することが証明された。
– また、モデル生成信頼度スコアがしばしば過大評価であるのに対し、推論時の出力の信頼性指標として、本MCスコアがより優れていることが示された。

要約(オリジナル)

Recently, there has been tremendous interest in industry 4.0 infrastructure to address labor shortages in global supply chains. Deploying artificial intelligence-enabled robotic bin picking systems in real world has become particularly important for reducing stress and physical demands of workers while increasing speed and efficiency of warehouses. To this end, artificial intelligence-enabled robotic bin picking systems may be used to automate order picking, but with the risk of causing expensive damage during an abnormal event such as sensor failure. As such, reliability becomes a critical factor for translating artificial intelligence research to real world applications and products. In this paper, we propose a reliable object detection and segmentation system with MultiModal Redundancy (MMRNet) for tackling object detection and segmentation for robotic bin picking using data from different modalities. This is the first system that introduces the concept of multimodal redundancy to address sensor failure issues during deployment. In particular, we realize the multimodal redundancy framework with a gate fusion module and dynamic ensemble learning. Finally, we present a new label-free multi-modal consistency (MC) score that utilizes the output from all modalities to measure the overall system output reliability and uncertainty. Through experiments, we demonstrate that in an event of missing modality, our system provides a much more reliable performance compared to baseline models. We also demonstrate that our MC score is a more reliability indicator for outputs during inference time compared to the model generated confidence scores that are often over-confident.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI