NOC: High-Quality Neural Object Cloning with 3D Lifting of Segment Anything

要約

神経分野の発展に伴い、マルチビュー入力からターゲット オブジェクトの 3D モデルを再構成することは、最近コミュニティからの注目を集めています。
既存の手法は通常、シーン全体の神経場を学習しますが、ユーザーが指定した特定のオブジェクトをオンザフライで再構築する方法はまだ研究されていません。
Segment Anything Model (SAM) があらゆる 2D 画像のセグメント化に効果的であることを考慮して、この論文では、ニューラル フィールドと SAM の両方の利点を活用する、新しい高品質 3D オブジェクト再構成手法である Neural Object Cloning (NOC) を提案します。
2つの側面から。
まず、シーンからターゲットオブジェクトを分離するために、SAM のマルチビュー 2D セグメンテーションマスクを統一された 3D 変動フィールドに持ち上げる新しい戦略を提案します。
次に、3D バリエーション フィールドが 2D 空間に投影され、SAM の新しいプロンプトが生成されます。
このプロセスは、収束してターゲット オブジェクトをシーンから分離するまで反復されます。
次に、2D マスクとは別に、ターゲット オブジェクトの再構成品質を向上させるために、SAM エンコーダの 2D 特徴を 3D SAM フィールドにさらに持ち上げます。
NOC は、SAM の 2D マスクと特徴を 3D ニューラル フィールドに取り込み、高品質のターゲット オブジェクトを再構築します。
私たちは、この方法の利点を実証するために、いくつかのベンチマーク データセットで詳細な実験を実施しました。
コードが公開されます。

要約(オリジナル)

With the development of the neural field, reconstructing the 3D model of a target object from multi-view inputs has recently attracted increasing attention from the community. Existing methods normally learn a neural field for the whole scene, while it is still under-explored how to reconstruct a certain object indicated by users on-the-fly. Considering the Segment Anything Model (SAM) has shown effectiveness in segmenting any 2D images, in this paper, we propose Neural Object Cloning (NOC), a novel high-quality 3D object reconstruction method, which leverages the benefits of both neural field and SAM from two aspects. Firstly, to separate the target object from the scene, we propose a novel strategy to lift the multi-view 2D segmentation masks of SAM into a unified 3D variation field. The 3D variation field is then projected into 2D space and generates the new prompts for SAM. This process is iterative until convergence to separate the target object from the scene. Then, apart from 2D masks, we further lift the 2D features of the SAM encoder into a 3D SAM field in order to improve the reconstruction quality of the target object. NOC lifts the 2D masks and features of SAM into the 3D neural field for high-quality target object reconstruction. We conduct detailed experiments on several benchmark datasets to demonstrate the advantages of our method. The code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google