Gaussian-Det: Learning Closed-Surface Gaussians for 3D Object Detection

要約

私たちの体の周りに包まれ、ソファの上を覆う革は、車を覆う板金コーティング – オブジェクトが一連の連続表面に囲まれていることを示唆しています。
このホワイトペーパーでは、マルチビューベースの3Dオブジェクト検出の表面表現としてガウスのスプラッティングを活用するガウスデットを提案します。
個別の位置データを介してオブジェクトを描写する既存の単眼またはNERFベースのメソッドとは異なり、ガウスDETは、部分表面の質量の特徴記述子として入力ガウスを策定することにより、オブジェクトを連続的にモデル化します。
さらに、Gaussian Splattingによって本質的に導入された多数の外れ値に対処するために、それに応じて、包括的な表面ベースのオブジェクト性控除のための閉鎖推定モジュール（CIM）を考案します。
CIMは、最初に、ガウスのスプラッティングの不足している性質を考慮して、部分表面の確率的特徴の残差を推定し、その後、オブジェクト提案の全体的な表面閉鎖に関する全体的な表現に合体されます。
このようにして、表面情報ガウス=デットのエクスプロイトは、オブジェクト性の品質と信頼性、および提案の改良の情報の基礎に関する事前の役割を果たします。
合成データセットと現実世界の両方のデータセットでの実験は、ガウスデットが平均精度とリコールの両方の観点から、さまざまな既存のアプローチよりも優れていることを示しています。

要約(オリジナル)

Skins wrapping around our bodies, leathers covering over the sofa, sheet metal coating the car – it suggests that objects are enclosed by a series of continuous surfaces, which provides us with informative geometry prior for objectness deduction. In this paper, we propose Gaussian-Det which leverages Gaussian Splatting as surface representation for multi-view based 3D object detection. Unlike existing monocular or NeRF-based methods which depict the objects via discrete positional data, Gaussian-Det models the objects in a continuous manner by formulating the input Gaussians as feature descriptors on a mass of partial surfaces. Furthermore, to address the numerous outliers inherently introduced by Gaussian splatting, we accordingly devise a Closure Inferring Module (CIM) for the comprehensive surface-based objectness deduction. CIM firstly estimates the probabilistic feature residuals for partial surfaces given the underdetermined nature of Gaussian Splatting, which are then coalesced into a holistic representation on the overall surface closure of the object proposal. In this way, the surface information Gaussian-Det exploits serves as the prior on the quality and reliability of objectness and the information basis of proposal refinement. Experiments on both synthetic and real-world datasets demonstrate that Gaussian-Det outperforms various existing approaches, in terms of both average precision and recall.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google