Revisiting 3D LLM Benchmarks: Are We Really Testing 3D Capabilities?

要約

この作業では、3D LLM評価における「2Dチーティング」問題を特定します。ここでは、これらのタスクは、ポイントクラウドのレンダリングされた画像を使用してVLMSによって簡単に解決され、3D LLMSのユニークな3D機能の効果的な評価を公開します。
複数の3D LLMベンチマークにわたってVLMパフォーマンスをテストし、これを参照として使用して、本物の3D理解をより適切に評価するための原則を提案します。
また、3D LLMを評価する際に、3D能力を1Dまたは2Dの側面から明示的に分離することも提唱しています。

要約(オリジナル)

In this work, we identify the ‘2D-Cheating’ problem in 3D LLM evaluation, where these tasks might be easily solved by VLMs with rendered images of point clouds, exposing ineffective evaluation of 3D LLMs’ unique 3D capabilities. We test VLM performance across multiple 3D LLM benchmarks and, using this as a reference, propose principles for better assessing genuine 3D understanding. We also advocate explicitly separating 3D abilities from 1D or 2D aspects when evaluating 3D LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google