Articulate AnyMesh: Open-Vocabulary 3D Articulated Objects Modeling

要約

3Dの明確なオブジェクトモデリングは、正確な表面幾何学と意味的に意味のある空間的に正確な構造、部分、および関節の両方をキャプチャする必要があるため、長い間困難な問題でした。
既存の方法は、限られた手作りの明確なオブジェクトカテゴリ（キャビネットや引き出しなど）からのトレーニングデータに大きく依存しており、これにより、幅広い範囲の明確なオブジェクトをオープンボキャブラリーコンテキストでモデル化する能力を制限しています。
これらの制限に対処するために、剛性のある3Dメッシュをオープンポンシャル方法で明確なカウンターパートに変換できる自動化されたフレームワークであるAnticulate Anymeshを提案します。
3Dメッシュを考えると、当社のフレームワークは、高度なビジョン言語モデルと視覚的なプロンプト技術を利用して意味情報を抽出し、オブジェクトパーツのセグメンテーションと機能的ジョイントの構築の両方を可能にします。
我々の実験は、アリチュレートアニシュが、ツール、おもちゃ、機械装置、車両などの大規模で高品質の3Dアーティキュレートオブジェクトを生成し、既存の3D明確なオブジェクトデータセットのカバレッジを大幅に拡大できることを示しています。
さらに、これらの生成された資産が、シミュレーションにおける新しい明確なオブジェクト操作スキルの獲得を促進し、実際のロボットシステムに転送できることを示しています。
GitHubのWebサイトはhttps://articulate-anymesh.github.ioです。

要約(オリジナル)

3D articulated objects modeling has long been a challenging problem, since it requires to capture both accurate surface geometries and semantically meaningful and spatially precise structures, parts, and joints. Existing methods heavily depend on training data from a limited set of handcrafted articulated object categories (e.g., cabinets and drawers), which restricts their ability to model a wide range of articulated objects in an open-vocabulary context. To address these limitations, we propose Articulate Anymesh, an automated framework that is able to convert any rigid 3D mesh into its articulated counterpart in an open-vocabulary manner. Given a 3D mesh, our framework utilizes advanced Vision-Language Models and visual prompting techniques to extract semantic information, allowing for both the segmentation of object parts and the construction of functional joints. Our experiments show that Articulate Anymesh can generate large-scale, high-quality 3D articulated objects, including tools, toys, mechanical devices, and vehicles, significantly expanding the coverage of existing 3D articulated object datasets. Additionally, we show that these generated assets can facilitate the acquisition of new articulated object manipulation skills in simulation, which can then be transferred to a real robotic system. Our Github website is https://articulate-anymesh.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google