Deep Learning-Enhanced Visual Monitoring in Hazardous Underwater Environments with a Swarm of Micro-Robots

要約

水中貯蔵施設などの極端な環境の長期的な監視と調査は、費用がかかり、労働集約的で、危険です。
このプロセスを低コストの共同ロボットで自動化すると、効率を大幅に改善できます。
これらのロボットは、さまざまな位置からの画像をキャプチャします。これは、施設の時空モデルを作成するために同時に処理する必要があります。
このホワイトペーパーでは、データシミュレーション、座標予測のためのマルチモーダルディープラーニングネットワーク、およびロボットの位置とオリエンテーションのドリフトと回転を引き起こす環境障害によってもたらされる課題に対処するための画像の再組み立てを統合する新しいアプローチを提案します。
私たちのアプローチは、スナップショットからの視覚情報、マスクからのグローバルな位置的コンテキスト、およびノイズの多い座標を統合することにより、騒々しい環境でのアライメントの精度を高めます。
水中の設定での実際のロボット操作をシミュレートする合成データを使用した広範な実験を通じて、私たちの方法を検証します。
結果は、非常に高い座標予測精度ともっともらしい画像アセンブリを示しており、アプローチの実際の適用性を示しています。
組み立てられた画像は、効果的な監視と検査のために水中環境の明確で一貫したビューを提供し、極端な設定でのより広範な使用の可能性を示し、危険なフィールドモニタリングの安全性、効率、コスト削減にさらに貢献します。
コードはhttps://github.com/chrischen1023/micro-robot-swarmで入手できます。

要約(オリジナル)

Long-term monitoring and exploration of extreme environments, such as underwater storage facilities, is costly, labor-intensive, and hazardous. Automating this process with low-cost, collaborative robots can greatly improve efficiency. These robots capture images from different positions, which must be processed simultaneously to create a spatio-temporal model of the facility. In this paper, we propose a novel approach that integrates data simulation, a multi-modal deep learning network for coordinate prediction, and image reassembly to address the challenges posed by environmental disturbances causing drift and rotation in the robots’ positions and orientations. Our approach enhances the precision of alignment in noisy environments by integrating visual information from snapshots, global positional context from masks, and noisy coordinates. We validate our method through extensive experiments using synthetic data that simulate real-world robotic operations in underwater settings. The results demonstrate very high coordinate prediction accuracy and plausible image assembly, indicating the real-world applicability of our approach. The assembled images provide clear and coherent views of the underwater environment for effective monitoring and inspection, showcasing the potential for broader use in extreme settings, further contributing to improved safety, efficiency, and cost reduction in hazardous field monitoring. Code is available on https://github.com/ChrisChen1023/Micro-Robot-Swarm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google