View Selection for 3D Captioning via Diffusion Ranking

要約

スケーラブルなアノテーション アプローチは、広範な 3D テキスト データセットを構築し、より広範囲のアプリケーションを促進するために不可欠です。
ただし、既存の方法では幻覚的なキャプションが生成され、キャプションの品質が損なわれる場合があります。
この論文では、事前トレーニングされたモデルを使用してキャプションを付けるために 3D オブジェクトを 2D ビューにレンダリングする Cap3D メソッドに焦点を当てて、3D オブジェクトのキャプション付けにおける幻覚の問題を調査します。
私たちは主要な課題を特定しました。それは、3D オブジェクトの特定のレンダリングされたビューが典型的ではなく、標準的な画像キャプション モデルのトレーニング データから逸脱し、幻覚を引き起こすということです。
これに取り組むために、事前トレーニングされた text-to-3D モデルを利用して 3D オブジェクトとその 2D レンダリングされたビューの間の位置合わせを評価するメソッドである DiffuRank を紹介します。位置合わせが高いビューはオブジェクトの特性を厳密に表しています。
すべてのレンダリングされたビューをランク付けし、上位のものを GPT4-Vision にフィードすることで、キャプションの精度と詳細が向上し、Cap3D データセット内の 20 万個のキャプションの修正が可能になり、Objaverse および Objaverse-XL データセット全体で 100 万個のキャプションに拡張できます。
。
さらに、視覚的質問応答タスク用の事前トレーニング済みテキストから画像へのモデルに DiffuRank を適用することで、DiffuRank の適応性を示し、CLIP モデルよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Scalable annotation approaches are crucial for constructing extensive 3D-text datasets, facilitating a broader range of applications. However, existing methods sometimes lead to the generation of hallucinated captions, compromising caption quality. This paper explores the issue of hallucination in 3D object captioning, with a focus on Cap3D method, which renders 3D objects into 2D views for captioning using pre-trained models. We pinpoint a major challenge: certain rendered views of 3D objects are atypical, deviating from the training data of standard image captioning models and causing hallucinations. To tackle this, we present DiffuRank, a method that leverages a pre-trained text-to-3D model to assess the alignment between 3D objects and their 2D rendered views, where the view with high alignment closely represent the object’s characteristics. By ranking all rendered views and feeding the top-ranked ones into GPT4-Vision, we enhance the accuracy and detail of captions, enabling the correction of 200k captions in the Cap3D dataset and extending it to 1 million captions across Objaverse and Objaverse-XL datasets. Additionally, we showcase the adaptability of DiffuRank by applying it to pre-trained text-to-image models for a Visual Question Answering task, where it outperforms the CLIP model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google