IRIS: An Immersive Robot Interaction System

要約

このペーパーでは、複数のシミュレータ、ベンチマーク、実際のシナリオにわたってロボットデータ収集と相互作用のために設計された拡張現実（XR）を活用する没入型ロボット相互作用システムであるIRISを紹介します。
既存のXRベースのデータ収集システムは、大規模なデータ収集に効率的かつ直感的なソリューションを提供しますが、多くの場合、再現して再利用するのが困難です。
現在のシステムは、シミュレーター固有のユースケースと環境に高度に調整されているため、この制限が生じます。
Irisは、複数のシミュレータ、ベンチマーク、さらにはヘッドセットをサポートする斬新で簡単に拡張可能なフレームワークです。
さらに、IRISは、深度カメラを介してキャプチャされたポイントクラウドなど、実際のセンサーからの追加情報を含めることができます。
統一されたシーン仕様は、シミュレーターまたは実際のセンサーから直接生成され、XRヘッドセットに送信され、XRで同じシーンが作成されます。
この仕様により、IRISはシミュレータが提供するオブジェクト、アセット、およびロボットのいずれかをサポートできます。
さらに、IRISは、共有された空間アンカーと、複数のXRヘッドセット間のシミュレーションをリンクする堅牢な通信プロトコルを導入します。
この機能により、複数のXRヘッドセットが同期シーンを共有し、共同およびマルチユーザーのデータ収集を促進できます。
IRISは、Unity Frameworkをサポートする任意のデバイスに展開でき、市販のヘッドセットの大部分を網羅しています。
この作業では、IRISがMeta Quest 3とHololens 2で展開され、テストされました。IRISは、Mujoco、Isaacsim、Coppeliasim、および象徴などの現在の人気のロボットシミュレーターを使用して、幅広い現実世界およびシミュレートされたシナリオにわたってその汎用性を紹介しました。
。
さらに、ユーザー調査では、リベロベンチマークのデータ収集タスクに関するIRISを評価します。
この研究は、虹彩が目的メトリックと主観的なメトリックの両方でベースラインを大幅に上回ることを示しています。

要約(オリジナル)

This paper introduces IRIS, an immersive Robot Interaction System leveraging Extended Reality (XR), designed for robot data collection and interaction across multiple simulators, benchmarks, and real-world scenarios. While existing XR-based data collection systems provide efficient and intuitive solutions for large-scale data collection, they are often challenging to reproduce and reuse. This limitation arises because current systems are highly tailored to simulator-specific use cases and environments. IRIS is a novel, easily extendable framework that already supports multiple simulators, benchmarks, and even headsets. Furthermore, IRIS is able to include additional information from real-world sensors, such as point clouds captured through depth cameras. A unified scene specification is generated directly from simulators or real-world sensors and transmitted to XR headsets, creating identical scenes in XR. This specification allows IRIS to support any of the objects, assets, and robots provided by the simulators. In addition, IRIS introduces shared spatial anchors and a robust communication protocol that links simulations between multiple XR headsets. This feature enables multiple XR headsets to share a synchronized scene, facilitating collaborative and multi-user data collection. IRIS can be deployed on any device that supports the Unity Framework, encompassing the vast majority of commercially available headsets. In this work, IRIS was deployed and tested on the Meta Quest 3 and the HoloLens 2. IRIS showcased its versatility across a wide range of real-world and simulated scenarios, using current popular robot simulators such as MuJoCo, IsaacSim, CoppeliaSim, and Genesis. In addition, a user study evaluates IRIS on a data collection task for the LIBERO benchmark. The study shows that IRIS significantly outperforms the baseline in both objective and subjective metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google