Articulate AnyMesh: Open-Vocabulary 3D Articulated Objects Modeling

要約

3D多関節オブジェクトのモデリングは、正確な表面形状と、意味的に意味のある空間的に正確な構造、部品、ジョイントの両方をキャプチャする必要があるため、長い間困難な問題であった。既存の手法は、限定された手作業の多関節オブジェクトカテゴリ（例えば、キャビネットや引き出し）からの学習データに大きく依存しており、オープン語彙コンテキストで広範囲の多関節オブジェクトをモデル化する能力が制限されている。これらの制限に対処するために、我々はArticulate Anymeshを提案する。Articulate Anymeshは、任意の剛体3Dメッシュをオープン語彙の方法で多関節対応物に変換できる自動フレームワークである。3Dメッシュが与えられると、我々のフレームワークは高度な視覚言語モデルと視覚的プロンプト技術を利用して意味情報を抽出し、オブジェクトのパーツのセグメンテーションと機能的ジョイントの構築の両方を可能にする。我々の実験によれば、Articulate Anymeshは、工具、玩具、機械装置、乗り物などの大規模で高品質な3D関節オブジェクトを生成することができ、既存の3D関節オブジェクトデータセットのカバレッジを大幅に拡大することができる。さらに、これらの生成されたアセットにより、シミュレーションにおける新しい多関節オブジェクトの操作スキルの習得が容易になり、実際のロボットシステムに移行できることを示します。私たちのGithubウェブサイトはhttps://articulate-anymesh.github.io。

要約(オリジナル)

3D articulated objects modeling has long been a challenging problem, since it requires to capture both accurate surface geometries and semantically meaningful and spatially precise structures, parts, and joints. Existing methods heavily depend on training data from a limited set of handcrafted articulated object categories (e.g., cabinets and drawers), which restricts their ability to model a wide range of articulated objects in an open-vocabulary context. To address these limitations, we propose Articulate Anymesh, an automated framework that is able to convert any rigid 3D mesh into its articulated counterpart in an open-vocabulary manner. Given a 3D mesh, our framework utilizes advanced Vision-Language Models and visual prompting techniques to extract semantic information, allowing for both the segmentation of object parts and the construction of functional joints. Our experiments show that Articulate Anymesh can generate large-scale, high-quality 3D articulated objects, including tools, toys, mechanical devices, and vehicles, significantly expanding the coverage of existing 3D articulated object datasets. Additionally, we show that these generated assets can facilitate the acquisition of new articulated object manipulation skills in simulation, which can then be transferred to a real robotic system. Our Github website is https://articulate-anymesh.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL