Enhancing Graph Representation of the Environment through Local and Cloud Computation

要約

動作環境のロボット表現を強化することは、低レベルのセンサー読み取り値と高レベルの意味理解の間のギャップを埋めることを目的とした困難なタスクです。
豊かな表現を実現するには、多くの場合、計算負荷の高いアーキテクチャと純粋な点群ベースの検出システムが必要ですが、ロボットで扱う必要がある日常の物体を扱う場合には困難を伴います。
これらの問題を克服するために、複数のソースからロボット環境のセマンティック表現を提供することで、このギャップに対処するグラフベースの表現を提案します。
実際、環境から情報を取得するために、このフレームワークは古典的なコンピューター ビジョン ツールと最新のコンピューター ビジョン クラウド サービスを組み合わせて、オンボード ハードウェアでの計算の実行可能性を保証します。
800 を超えるオブジェクト クラスを含むオントロジー階層を組み込むことで、フレームワークはクロスドメインの適応性を実現し、環境固有のツールの必要性を排除します。
提案されたアプローチにより、小さなオブジェクトも処理し、それらを環境の意味論的表現に統合することができます。
このアプローチは、環境表現に RViz ビジュアライザを使用してロボット オペレーティング システム (ROS) に実装されます。
この作業は、さまざまなドメイン間での直感的な対話とナビゲーションを容易にする、汎用フレームワークの開発に向けた最初のステップです。

要約(オリジナル)

Enriching the robot representation of the operational environment is a challenging task that aims at bridging the gap between low-level sensor readings and high-level semantic understanding. Having a rich representation often requires computationally demanding architectures and pure point cloud based detection systems that struggle when dealing with everyday objects that have to be handled by the robot. To overcome these issues, we propose a graph-based representation that addresses this gap by providing a semantic representation of robot environments from multiple sources. In fact, to acquire information from the environment, the framework combines classical computer vision tools with modern computer vision cloud services, ensuring computational feasibility on onboard hardware. By incorporating an ontology hierarchy with over 800 object classes, the framework achieves cross-domain adaptability, eliminating the need for environment-specific tools. The proposed approach allows us to handle also small objects and integrate them into the semantic representation of the environment. The approach is implemented in the Robot Operating System (ROS) using the RViz visualizer for environment representation. This work is a first step towards the development of a general-purpose framework, to facilitate intuitive interaction and navigation across different domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google