GFreeDet: Exploiting Gaussian Splatting and Foundation Models for Model-free Unseen Object Detection in the BOP Challenge 2024

要約

GFREEDETは、モデルのない設定でガウスのスプラッティングとビジョンファンデーションモデルを活用する目に見えないオブジェクト検出アプローチを提示します。
事前に定義されたCADテンプレートに依存する既存のメソッドとは異なり、GFREEDETはGaussian Splattingを使用してリファレンスビデオから直接オブジェクトを再構築し、以前の3Dモデルなしで新しいオブジェクトの堅牢な検出を可能にします。
BOP-H3ベンチマークで評価されたGFREEDETは、CADベースの方法に匹敵するパフォーマンスを達成し、複合現実（MR）アプリケーションのモデルフリー検出の実行可能性を実証します。
特に、GFREEDETは、BOP Challenge 2024のモデルフリー2D検出トラックで、最高の全体的な方法と最高のFast Method Awardsを獲得しました。

要約(オリジナル)

We present GFreeDet, an unseen object detection approach that leverages Gaussian splatting and vision Foundation models under model-free setting. Unlike existing methods that rely on predefined CAD templates, GFreeDet reconstructs objects directly from reference videos using Gaussian splatting, enabling robust detection of novel objects without prior 3D models. Evaluated on the BOP-H3 benchmark, GFreeDet achieves comparable performance to CAD-based methods, demonstrating the viability of model-free detection for mixed reality (MR) applications. Notably, GFreeDet won the best overall method and the best fast method awards in the model-free 2D detection track at BOP Challenge 2024.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google