ArtVIP: Articulated Digital Assets of Visual Realism, Modular Interaction, and Physical Fidelity for Robot Learning

要約

ロボット学習は、柔軟な操作や正確な相互作用などの複雑な能力を進めるためにシミュレーションにますます依存しているため、SIMからリアルのギャップを埋めるために高品質のデジタル資産を必要とします。
ただし、シミュレーションのための既存のオープンソースの明確なオブジェクトデータセットは、視覚的リアリズムが不十分であり、物理的な忠実度が低く、現実世界でロボットタスクをマスターするモデルのトレーニングの有用性を妨げます。
これらの課題に対処するために、高品質のデジタルツインアーティキュレートオブジェクトを含む包括的なオープンソースデータセットであるArtVipを紹介します。
統一された基準を順守するプロフェッショナルな3Dモデラーが作成したArtVIPは、正確な幾何学的メッシュと高解像度テクスチャを介して視覚的リアリズムを保証しますが、物理的な忠実度は微調整された動的パラメーターを介して達成されます。
一方、データセットの先駆者は、資産内およびピクセルレベルのアフォーダンス注釈内にモジュラー相互作用行動を組み込みました。
機能マップの視覚化と光学モーションキャプチャを採用して、ARTVIPの視覚的および物理的な忠実度を定量的に実証し、その適用性が模倣学習と強化学習実験全体で検証されています。
詳細な制作ガイドラインを使用してUSD形式で提供されるArtVIPは、完全にオープンソースであり、研究コミュニティに利益をもたらし、ロボット学習研究を進めています。
私たちのプロジェクトはhttps://x-humanoid-artvip.github.io/にあります。

要約(オリジナル)

Robot learning increasingly relies on simulation to advance complex ability such as dexterous manipulations and precise interactions, necessitating high-quality digital assets to bridge the sim-to-real gap. However, existing open-source articulated-object datasets for simulation are limited by insufficient visual realism and low physical fidelity, which hinder their utility for training models mastering robotic tasks in real world. To address these challenges, we introduce ArtVIP, a comprehensive open-source dataset comprising high-quality digital-twin articulated objects, accompanied by indoor-scene assets. Crafted by professional 3D modelers adhering to unified standards, ArtVIP ensures visual realism through precise geometric meshes and high-resolution textures, while physical fidelity is achieved via fine-tuned dynamic parameters. Meanwhile, the dataset pioneers embedded modular interaction behaviors within assets and pixel-level affordance annotations. Feature-map visualization and optical motion capture are employed to quantitatively demonstrate ArtVIP’s visual and physical fidelity, with its applicability validated across imitation learning and reinforcement learning experiments. Provided in USD format with detailed production guidelines, ArtVIP is fully open-source, benefiting the research community and advancing robot learning research. Our project is at https://x-humanoid-artvip.github.io/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google