VisionGPT-3D: A Generalized Multimodal Agent for Enhanced 3D Vision Understanding

要約

テキストからビジュアルコンポーネントへの進化により、テキストから画像やビデオを生成したり、画像内の目的の要素を識別したりするなど、人々の日常生活が容易になります。
以前のマルチモーダル機能を含むコンピューター ビジョン モデルは、明確に定義されたオブジェクトに基づく画像検出と分類に焦点を当てていました。
大規模言語モデル (LLM) では、自然言語からテキスト コンテキストの視覚的なレイアウトを表示する視覚オブジェクトへの変換が導入されます。
OpenAI GPT-4 は LLM の頂点として浮上しており、コンピューター ビジョン (CV) ドメインは、2D 画像を 3D 表現に変換するための最先端 (SOTA) モデルとアルゴリズムを多数備えています。
ただし、問題のあるアルゴリズム間に不一致があると、望ましくない結果が生じる可能性があります。
この課題に応えて、私たちは最先端の視覚モデルを統合するための統合 VisionGPT-3D フレームワークを提案し、それによって視覚指向 AI の開発を促進します。
VisionGPT-3D は、マルチモーダル基礎モデルの強みを基盤とした多用途のマルチモーダル フレームワークを提供します。
さまざまな SOTA ビジョン モデルをシームレスに統合し、SOTA ビジョン モデルの選択を自動化し、2D 深度マップ分析に対応する適切な 3D メッシュ作成アルゴリズムを特定し、テキスト プロンプトなどの多様なマルチモーダル入力に基づいて最適な結果を生成します。
キーワード: VisionGPT-3D、3次元視覚理解、マルチモーダルエージェント

要約(オリジナル)

The evolution of text to visual components facilitates people’s daily lives, such as generating image, videos from text and identifying the desired elements within the images. Computer vision models involving the multimodal abilities in the previous days are focused on image detection, classification based on well-defined objects. Large language models (LLMs) introduces the transformation from nature language to visual objects, which present the visual layout for text contexts. OpenAI GPT-4 has emerged as the pinnacle in LLMs, while the computer vision (CV) domain boasts a plethora of state-of-the-art (SOTA) models and algorithms to convert 2D images to their 3D representations. However, the mismatching between the algorithms with the problem could lead to undesired results. In response to this challenge, we propose an unified VisionGPT-3D framework to consolidate the state-of-the-art vision models, thereby facilitating the development of vision-oriented AI. VisionGPT-3D provides a versatile multimodal framework building upon the strengths of multimodal foundation models. It seamlessly integrates various SOTA vision models and brings the automation in the selection of SOTA vision models, identifies the suitable 3D mesh creation algorithms corresponding to 2D depth maps analysis, generates optimal results based on diverse multimodal inputs such as text prompts. Keywords: VisionGPT-3D, 3D vision understanding, Multimodal agent

arxiv情報

提供元, 利用サービス

arxiv.jp, Google