Re-Thinking Inverse Graphics With Large Language Models

要約

逆グラフィックス (画像を物理変数に反転し、レンダリング時に観察されたシーンを再現できるようにするタスク) は、コンピューター ビジョンとグラフィックスにおける基本的な課題です。
画像を、それを生成した 3D シーンのオブジェクトの形状、色、材質特性などの構成要素に分解するには、環境を包括的に理解する必要があります。
この要件により、慎重に設計された既存のアプローチをドメイン間で一般化する能力が制限されます。
新しいコンテキストに一般化する大規模言語モデル (LLM) のゼロショット機能に触発されて、私たちは、逆グラフィックス問題を解決する際に、そのようなモデルにエンコードされた広範な世界の知識を活用する可能性を調査します。
この目的を達成するために、我々は、視覚的な埋め込みを構造化された構成的な 3D シーン表現に自己回帰的にデコードする、LLM を中心とした逆グラフィックス フレームワークである、逆グラフィックス大規模言語モデル (IG-LLM) を提案します。
凍結済みの事前トレーニング済みビジュアル エンコーダーと連続数値ヘッドを組み込んで、エンドツーエンドのトレーニングを可能にします。
私たちの調査を通じて、画像空間の監視を使用せずに、次のトークンの予測を通じて逆グラフィックスを容易にする LLM の可能性を実証しました。
私たちの分析は、LLM の視覚的知識を活用した画像に関する正確な空間推論の新たな可能性を開きます。
調査の再現性を確保し、将来の調査を容易にするために、コードとデータを https://ig-llm.is.tue.mpg.de/ で公開します。

要約(オリジナル)

Inverse graphics — the task of inverting an image into physical variables that, when rendered, enable reproduction of the observed scene — is a fundamental challenge in computer vision and graphics. Disentangling an image into its constituent elements, such as the shape, color, and material properties of the objects of the 3D scene that produced it, requires a comprehensive understanding of the environment. This requirement limits the ability of existing carefully engineered approaches to generalize across domains. Inspired by the zero-shot ability of large language models (LLMs) to generalize to novel contexts, we investigate the possibility of leveraging the broad world knowledge encoded in such models in solving inverse-graphics problems. To this end, we propose the Inverse-Graphics Large Language Model (IG-LLM), an inverse-graphics framework centered around an LLM, that autoregressively decodes a visual embedding into a structured, compositional 3D-scene representation. We incorporate a frozen pre-trained visual encoder and a continuous numeric head to enable end-to-end training. Through our investigation, we demonstrate the potential of LLMs to facilitate inverse graphics through next-token prediction, without the use of image-space supervision. Our analysis opens up new possibilities for precise spatial reasoning about images that exploit the visual knowledge of LLMs. We will release our code and data to ensure the reproducibility of our investigation and to facilitate future research at https://ig-llm.is.tue.mpg.de/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google