ExtPerFC: An Efficient 2D and 3D Perception Hardware-Software Framework for Mobile Cobot

要約

ロボットの知覚の信頼性は、不確実性に対処するための統合されたセンシングモダリティの数と相関があるため、これらのセンサーを異なるコンピュータから管理し、同時に操作し、既存のロボットシステム上で最小限の労力でリアルタイムのパフォーマンスを維持するための実用的なソリューションは次のとおりです。
必要です。
この研究では、従来のハードウェア コンポーネントとソフトウェア コンポーネントの両方をサポートし、追加の専用グラフィック プロセッサ ユニット (GPU) を必要とせずに機械学習オブジェクト検出器を統合する、エンドツーエンドのソフトウェア ハードウェア フレームワーク、つまり ExtPerFC を紹介します。
まず、既存のロボット システムでリアルタイム パフォーマンスを実現し、構成の最適化を保証し、コードの再利用性に重点を置くフレームワークを設計します。
次に、転移学習戦略を数学的にモデル化して 2D オブジェクト検出に利用し、それらを 3D 深度推定のための深度画像に融合します。
最後に、2 つの 7-DOF アーム、4 輪モビリティ ベース、および Intel RealSense D435i RGB-D カメラを備えた Baxter ロボット上で、提案されたフレームワークを系統的にテストします。
結果は、ロボットが、分散コンピュータ上の Intel オンボード CPUS/GPU などの利用可能なハードウェアを使用して、他のタスク (地図構築、位置特定、ナビゲーション、物体検出、アームの移動、把握など) を同時に実行しながら、リアルタイムのパフォーマンスを達成していることを示しています。
また、ロボットシステムを総合的に制御、プログラム、監視するためのエンドユーザーアプリケーションを設計・導入します。
ソース コードは https://github.com/tuantdang/perception_framework で入手できます。

要約(オリジナル)

As the reliability of the robot’s perception correlates with the number of integrated sensing modalities to tackle uncertainty, a practical solution to manage these sensors from different computers, operate them simultaneously, and maintain their real-time performance on the existing robotic system with minimal effort is needed. In this work, we present an end-to-end software-hardware framework, namely ExtPerFC, that supports both conventional hardware and software components and integrates machine learning object detectors without requiring an additional dedicated graphic processor unit (GPU). We first design our framework to achieve real-time performance on the existing robotic system, guarantee configuration optimization, and concentrate on code reusability. We then mathematically model and utilize our transfer learning strategies for 2D object detection and fuse them into depth images for 3D depth estimation. Lastly, we systematically test the proposed framework on the Baxter robot with two 7-DOF arms, a four-wheel mobility base, and an Intel RealSense D435i RGB-D camera. The results show that the robot achieves real-time performance while executing other tasks (e.g., map building, localization, navigation, object detection, arm moving, and grasping) simultaneously with available hardware like Intel onboard CPUS/GPUs on distributed computers. Also, to comprehensively control, program, and monitor the robot system, we design and introduce an end-user application. The source code is available at https://github.com/tuantdang/perception_framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google