ContactArt: Learning 3D Interaction Priors for Category-level Articulated Object and Hand Poses Estimation

要約

タイトル：カテゴリレベルの関節付き物体および手の姿勢推定のための3Dインタラクション事前学習：ContactArt

要約：

– 新しいデータセットとアプローチを提案し、手と関節の物体姿勢推定のためのインタラクション事前学習を行う。
– 物理シミュレータ内で直接遊ぶことができるビジュアル遠隔操作を使用して、データセットを収集する。
– シミュレータから物体姿勢と接触情報の自由かつ正確な注釈を取得する。
– システムは、人間の手の動きを記録するためにiPhoneのみを必要とし、データと注釈の収集のコストを大幅に削減できる。
– このデータを使用して、物体部品の配列の分布をキャプチャするGAN内の判別器と、接触領域を生成し、手の姿勢推定を誘導する拡散モデルを含む3Dインタラクション事前学習を実施する。
– このような構造的および接触事前学習は、ほとんどドメインギャップがない実世界のデータに簡単に転送できる。
– 当社のデータと学習された事前学習を使用することで、既存の最先端技術に比べ、関節付き物体の姿勢推定の性能が大幅に向上する。
– このプロジェクトは、https://zehaozhu.github.io/ContactArt/で利用可能である。

要約(オリジナル)

We propose a new dataset and a novel approach to learning hand-object interaction priors for hand and articulated object pose estimation. We first collect a dataset using visual teleoperation, where the human operator can directly play within a physical simulator to manipulate the articulated objects. We record the data and obtain free and accurate annotations on object poses and contact information from the simulator. Our system only requires an iPhone to record human hand motion, which can be easily scaled up and largely lower the costs of data and annotation collection. With this data, we learn 3D interaction priors including a discriminator (in a GAN) capturing the distribution of how object parts are arranged, and a diffusion model which generates the contact regions on articulated objects, guiding the hand pose estimation. Such structural and contact priors can easily transfer to real-world data with barely any domain gap. By using our data and learned priors, our method significantly improves the performance on joint hand and articulated object poses estimation over the existing state-of-the-art methods. The project is available at https://zehaozhu.github.io/ContactArt/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI