Eval3D: Interpretable and Fine-grained Evaluation for 3D Generation

要約

3D世代の分野で前例のない進歩にもかかわらず、現在のシステムは、複数の視点で視覚的に魅力的で幾何学的および意味的に一貫している高品質の3D資産を生産できないことがよくあります。
生成された3Dデータの品質を効果的に評価するために、信頼できる3D評価ツールが必要です。
残念ながら、既存の3D評価メトリックは、生成された資産の幾何学的品質を見落としたり、粗い評価のためにブラックボックスマルチモーダルの大手言語モデルに依存していることがよくあります。
このホワイトペーパーでは、さまざまな明確でありながら補完的な基準に基づいて生成された3Dアセットの品質を忠実に評価できる、細かく粒度のある解釈可能な評価ツールであるEval3Dを紹介します。
私たちの重要な観察は、セマンティックや幾何学的な一貫性など、3D生成の多くの望ましい特性を、さまざまな基礎モデルとツール間の一貫性を測定することで効果的にキャプチャできることです。
したがって、さまざまな側面にわたる生成された3Dアセットの矛盾を評価するために、プローブとして多様なモデルとツールのセットを活用します。
以前の作業と比較して、Eval3Dはピクセルごとの測定を提供し、正確な3D空間フィードバックを可能にし、人間の判断により密接に合わせます。
Eval3Dを使用して既存の3D生成モデルを包括的に評価し、現在のモデルの制限と課題を強調します。

要約(オリジナル)

Despite the unprecedented progress in the field of 3D generation, current systems still often fail to produce high-quality 3D assets that are visually appealing and geometrically and semantically consistent across multiple viewpoints. To effectively assess the quality of the generated 3D data, there is a need for a reliable 3D evaluation tool. Unfortunately, existing 3D evaluation metrics often overlook the geometric quality of generated assets or merely rely on black-box multimodal large language models for coarse assessment. In this paper, we introduce Eval3D, a fine-grained, interpretable evaluation tool that can faithfully evaluate the quality of generated 3D assets based on various distinct yet complementary criteria. Our key observation is that many desired properties of 3D generation, such as semantic and geometric consistency, can be effectively captured by measuring the consistency among various foundation models and tools. We thus leverage a diverse set of models and tools as probes to evaluate the inconsistency of generated 3D assets across different aspects. Compared to prior work, Eval3D provides pixel-wise measurement, enables accurate 3D spatial feedback, and aligns more closely with human judgments. We comprehensively evaluate existing 3D generation models using Eval3D and highlight the limitations and challenges of current models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google