Reconstructing Hand-Held Objects in 3D

要約

手で操作されるオブジェクト (マニピュランダなど) は、実際の RGB 画像やビデオから再構築するのが特に困難です。
手によってオブジェクトの大部分が遮られるだけでなく、多くの場合、オブジェクトは少数の画像ピクセルでしか見えなくなります。
同時に、この設定では 2 つの強力なアンカーが現れます。(1) 推定された 3D ハンドは、オブジェクトの位置とスケールを明確にするのに役立ちます。(2) マニピュランダのセットは、すべての可能なオブジェクトに比べて小さいです。
これらの洞察を念頭に置いて、大規模な言語/視覚モデルと 3D オブジェクト データセットにおける最近の進歩に基づいたハンドヘルド オブジェクト再構築のためのスケーラブルなパラダイムを提示します。
私たちのモデルである MCC-Hand-Object (MCC-HO) は、単一の RGB 画像と推定された 3D 手を入力として与えられると、手とオブジェクトのジオメトリを共同で再構築します。
続いて、GPT-4(V) を使用して、画像内のオブジェクトと一致する 3D オブジェクト モデルを取得し、ネットワークで推測されたジオメトリにモデルを厳密に位置合わせします。
このアライメントを検索拡張再構成 (RAR) と呼びます。
実験では、MCC-HO が研究室およびインターネットのデータセットで最先端のパフォーマンスを達成することを実証し、RAR を使用して手と物体の相互作用の自然な画像の 3D ラベルを自動的に取得する方法を示します。

要約(オリジナル)

Objects manipulated by the hand (i.e., manipulanda) are particularly challenging to reconstruct from in-the-wild RGB images or videos. Not only does the hand occlude much of the object, but also the object is often only visible in a small number of image pixels. At the same time, two strong anchors emerge in this setting: (1) estimated 3D hands help disambiguate the location and scale of the object, and (2) the set of manipulanda is small relative to all possible objects. With these insights in mind, we present a scalable paradigm for handheld object reconstruction that builds on recent breakthroughs in large language/vision models and 3D object datasets. Our model, MCC-Hand-Object (MCC-HO), jointly reconstructs hand and object geometry given a single RGB image and inferred 3D hand as inputs. Subsequently, we use GPT-4(V) to retrieve a 3D object model that matches the object in the image and rigidly align the model to the network-inferred geometry; we call this alignment Retrieval-Augmented Reconstruction (RAR). Experiments demonstrate that MCC-HO achieves state-of-the-art performance on lab and Internet datasets, and we show how RAR can be used to automatically obtain 3D labels for in-the-wild images of hand-object interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google