Exploring the Potential of Encoder-free Architectures in 3D LMMs

要約

エンコーダーフリーのアーキテクチャは、2Dビジュアルドメインで事前に検討されていますが、3D理解シナリオに効果的に適用できるかどうかは未解決の問題のままです。
この論文では、エンコーダーベースの3D大規模マルチモーダルモデル（LMM）の課題を克服するためのエンコーダーフリーアーキテクチャの可能性に関する最初の包括的な調査を提示します。
これらの課題には、さまざまなポイントクラウド解像度に適応できないことや、大規模な言語モデル（LLMS）のセマンティックニーズを満たしていないエンコーダーからのポイント機能が含まれます。
3D LMMSの重要な側面を特定して、エンコーダーを削除し、LLMが3Dエンコーダーの役割を引き受けることができるようにします。
– 容疑者の損失。
そして、ハイブリッドセマンティック損失を提示して、高レベルのセマンティクスを抽出します。
2）命令調整段階で階層幾何学集約戦略を紹介します。
これには、誘導バイアスがLLM初期層に組み込まれ、ポイントクラウドのローカルな詳細に焦点を当てます。
最後に、最初のエンコーダーフリー3D LMM、enelを提示します。
7Bモデルは、現在の最先端のモデルであるShapellM-13Bに匹敵し、それぞれ分類、キャプション、およびVQAタスクで55.0％、50.92％、42.7％を達成しています。
我々の結果は、エンコーダーフリーのアーキテクチャが、3D理解の分野でエンコーダーベースのアーキテクチャを置き換えることに非常に有望であることを示しています。
このコードはhttps://github.com/ivan-tang-3d/enelでリリースされます

要約(オリジナル)

Encoder-free architectures have been preliminarily explored in the 2D visual domain, yet it remains an open question whether they can be effectively applied to 3D understanding scenarios. In this paper, we present the first comprehensive investigation into the potential of encoder-free architectures to overcome the challenges of encoder-based 3D Large Multimodal Models (LMMs). These challenges include the failure to adapt to varying point cloud resolutions and the point features from the encoder not meeting the semantic needs of Large Language Models (LLMs). We identify key aspects for 3D LMMs to remove the encoder and enable the LLM to assume the role of the 3D encoder: 1) We propose the LLM-embedded Semantic Encoding strategy in the pre-training stage, exploring the effects of various point cloud self-supervised losses. And we present the Hybrid Semantic Loss to extract high-level semantics. 2) We introduce the Hierarchical Geometry Aggregation strategy in the instruction tuning stage. This incorporates inductive bias into the LLM early layers to focus on the local details of the point clouds. To the end, we present the first Encoder-free 3D LMM, ENEL. Our 7B model rivals the current state-of-the-art model, ShapeLLM-13B, achieving 55.0%, 50.92%, and 42.7% on the classification, captioning, and VQA tasks, respectively. Our results demonstrate that the encoder-free architecture is highly promising for replacing encoder-based architectures in the field of 3D understanding. The code is released at https://github.com/Ivan-Tang-3D/ENEL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google