MMRNet: Improving Reliability for Multimodal Object Detection and Segmentation for Bin Picking via Multimodal Redundancy

要約

タイトル：MMRNet：マルチモーダル冗長性を利用した物体検出およびセグメンテーションの信頼性向上

要約：

– 労働力不足を解決するために、産業4.0インフラストラクチャへの関心が高まっています。
– 実際の世界でAIによって有効化されたロボットのビンピッキングシステムを導入することは、倉庫のスピードと効率を向上させ、従業員のストレスと体力負荷を軽減するために特に重要です。
– しかしながら、異常イベント（センサ故障など）の発生による損失リスクがあるため、信頼性は、AI研究を実世界のアプリケーションや製品へ導入するための重要な要素となります。
– この論文では、異なるモダリティのデータを利用してロボットのビンピッキングのための物体検出とセグメンテーションを行う信頼性のあるシステムであるMultiModal Redundancy（MMRNet）を提案しています。
– このシステムは、異常イベントに対処するために、マルチモーダル冗長性の概念を導入した最初のシステムです。
– 特に、ゲートフュージョンモジュールと動的アンサンブル学習を用いてマルチモーダル冗長性フレームワークを実現しています。
– さらに、すべてのモダリティからの出力を利用して全体的なシステムの信頼性と不確実性を測定する新しいラベルフリーのマルチモーダル一貫性（MC）スコアを提供しています。
– 実験により、ベースラインモデルと比較して、システムがモダリティが不足している場合でも信頼性の高いパフォーマンスを示すことが示されました。
– また、モデルが生成する信頼スコアよりも、推論時の出力の信頼性指標としてより優れたMCスコアが示されました。

要約(オリジナル)

Recently, there has been tremendous interest in industry 4.0 infrastructure to address labor shortages in global supply chains. Deploying artificial intelligence-enabled robotic bin picking systems in real world has become particularly important for reducing stress and physical demands of workers while increasing speed and efficiency of warehouses. To this end, artificial intelligence-enabled robotic bin picking systems may be used to automate order picking, but with the risk of causing expensive damage during an abnormal event such as sensor failure. As such, reliability becomes a critical factor for translating artificial intelligence research to real world applications and products. In this paper, we propose a reliable object detection and segmentation system with MultiModal Redundancy (MMRNet) for tackling object detection and segmentation for robotic bin picking using data from different modalities. This is the first system that introduces the concept of multimodal redundancy to address sensor failure issues during deployment. In particular, we realize the multimodal redundancy framework with a gate fusion module and dynamic ensemble learning. Finally, we present a new label-free multi-modal consistency (MC) score that utilizes the output from all modalities to measure the overall system output reliability and uncertainty. Through experiments, we demonstrate that in an event of missing modality, our system provides a much more reliable performance compared to baseline models. We also demonstrate that our MC score is a more reliability indicator for outputs during inference time compared to the model generated confidence scores that are often over-confident.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI