HarmonyView: Harmonizing Consistency and Diversity in One-Image-to-3D

要約

単一画像 3D 生成の最近の進歩は、インターネット スケールの画像で事前トレーニングされた大規模拡散モデルからの 3D 事前分布を活用する、マルチビューのコヒーレンシーの重要性を強調しています。
しかし、2D 画像を 3D コンテンツに変換する際には曖昧さがあり、多数の潜在的な形状が出現する可能性があるため、新しい視点の多様性の側面は研究環境内でまだ十分に研究されていません。
ここでは、一貫性と多様性の両方に同時に取り組むことで、この研究ギャップに対処することを目指しています。
しかし、これら 2 つの側面のバランスをとることは、固有のトレードオフのため、かなりの困難を伴います。
この研究では、単一画像 3D 生成における 2 つの複雑な側面 (一貫性と多様性) を分解することに優れた、シンプルかつ効果的な拡散サンプリング手法である HarmonyView を紹介します。
このアプローチは、サンプリング プロセス内の 2 つの重要な側面をより微妙に調査するための道を開きます。
さらに、人間の評価者の判断と密接に一致する、生成されたビューの多様性を包括的に評価するために、CLIP 画像およびテキスト エンコーダーに基づく新しい評価指標を提案します。
実験では、HarmonyView は調和のとれたバランスを実現し、一貫性と多様性の両方において Win-Win のシナリオを実証しました。

要約(オリジナル)

Recent progress in single-image 3D generation highlights the importance of multi-view coherency, leveraging 3D priors from large-scale diffusion models pretrained on Internet-scale images. However, the aspect of novel-view diversity remains underexplored within the research landscape due to the ambiguity in converting a 2D image into 3D content, where numerous potential shapes can emerge. Here, we aim to address this research gap by simultaneously addressing both consistency and diversity. Yet, striking a balance between these two aspects poses a considerable challenge due to their inherent trade-offs. This work introduces HarmonyView, a simple yet effective diffusion sampling technique adept at decomposing two intricate aspects in single-image 3D generation: consistency and diversity. This approach paves the way for a more nuanced exploration of the two critical dimensions within the sampling process. Moreover, we propose a new evaluation metric based on CLIP image and text encoders to comprehensively assess the diversity of the generated views, which closely aligns with human evaluators’ judgments. In experiments, HarmonyView achieves a harmonious balance, demonstrating a win-win scenario in both consistency and diversity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google