InteractVLM: 3D Interaction Reasoning from 2D Foundational Models

要約

3Dでの正確なヒトオブジェクトジョイント再構成を可能にする、単一のワイルド画像からの人体とオブジェクトに関する3D接点ポイントを推定する新しい方法であるInteractVLMを紹介します。
これは、閉塞、深さのあいまいさ、および大きく異なるオブジェクトの形状のために困難です。
既存の方法は、高価なモーションキャプチャシステムまたは退屈なマニュアルラベル付けを介して収集された3D連絡先注釈に依存しており、スケーラビリティと一般化を制限します。
これを克服するために、InteractVLMは、限られた3D連絡先データで微調整された、大きな視覚言語モデル（VLM）の広範な視覚知識を活用します。
ただし、これらのモデルを直接適用することは、2Dでのみ推論しているため、本質的に3Dであるため、自明ではありません。
したがって、次のような新しいRender-Localize-Liftモジュールを導入します。（1）マルチビューレンダリングを介して2Dスペースに3Dボディとオブジェクトの表面を埋め込み、（2）新しいマルチビューローカリゼーションモデル（MV-LOC）を訓練して2Dの接触を推測し、（3）を3Dに持ち上げます。
さらに、人間の接触予測がオブジェクトセマンティクスで明示的に条件付けられ、より豊富な相互作用モデリングを可能にするセマンティックヒトの接触推定と呼ばれる新しいタスクを提案します。
InteractVLMは、接触の推定に関する既存の作業よりも優れており、インザワイルドイメージからの3D再構成も容易になります。
コードとモデルはhttps://interactvlm.is.tue.mpg.deで入手できます。

要約(オリジナル)

We introduce InteractVLM, a novel method to estimate 3D contact points on human bodies and objects from single in-the-wild images, enabling accurate human-object joint reconstruction in 3D. This is challenging due to occlusions, depth ambiguities, and widely varying object shapes. Existing methods rely on 3D contact annotations collected via expensive motion-capture systems or tedious manual labeling, limiting scalability and generalization. To overcome this, InteractVLM harnesses the broad visual knowledge of large Vision-Language Models (VLMs), fine-tuned with limited 3D contact data. However, directly applying these models is non-trivial, as they reason only in 2D, while human-object contact is inherently 3D. Thus we introduce a novel Render-Localize-Lift module that: (1) embeds 3D body and object surfaces in 2D space via multi-view rendering, (2) trains a novel multi-view localization model (MV-Loc) to infer contacts in 2D, and (3) lifts these to 3D. Additionally, we propose a new task called Semantic Human Contact estimation, where human contact predictions are conditioned explicitly on object semantics, enabling richer interaction modeling. InteractVLM outperforms existing work on contact estimation and also facilitates 3D reconstruction from an in-the wild image. Code and models are available at https://interactvlm.is.tue.mpg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google