6DOPE-GS: Online 6D Object Pose Estimation using Gaussian Splatting

要約

効率的で正確なオブジェクトのポーズ推定は、拡張現実感、自律走行、ロボット工学などの多くのアプリケーションにおける最新のビジョンシステムにとって不可欠な要素である。モデルベースの6Dオブジェクトポーズ推定に関する研究は有望な結果をもたらしているが、モデルフリーの手法は、ライブRGB-Dビデオストリーム中の任意のオブジェクトの一貫したポーズをレンダリングし、推論する際の高い計算負荷が妨げとなっている。この問題に対処するために、我々は6DOPE-GSを発表します。これは、ガウシアンスプラッティングの進歩を効果的に活用することで、1台のRGB-Dカメラでオンライン6次元物体姿勢推定・追跡を行う新しい手法です。ガウススプラッティングの高速微分可能なレンダリング機能により、6DOPE-GSは6次元物体のポーズと3次元物体の再構成を同時に最適化することができます。ライブトラッキングに必要な効率と精度を達成するために、我々の手法はインテリジェントなダイナミックキーフレーム選択手順でインクリメンタル2Dガウススプラッティングを使用し、高い空間オブジェクトカバレッジを達成し、誤ったポーズ更新を防ぎます。また、学習の安定性と効率を確保するために、適応的なガウス密度制御のための不透明度統計に基づく刈り込みメカニズムを提案する。HO3DとYCBInEOATデータセットで本手法を評価し、6DOPE-GSがモデルフリーの6Dポーズ追跡と再構成の同時処理において、5$times$のスピードアップを実現しながら、最先端のベースラインの性能に匹敵することを示す。また、この手法が実世界におけるライブで動的なオブジェクトの追跡と再構築に適していることを実証する。

要約(オリジナル)

Efficient and accurate object pose estimation is an essential component for modern vision systems in many applications such as Augmented Reality, autonomous driving, and robotics. While research in model-based 6D object pose estimation has delivered promising results, model-free methods are hindered by the high computational load in rendering and inferring consistent poses of arbitrary objects in a live RGB-D video stream. To address this issue, we present 6DOPE-GS, a novel method for online 6D object pose estimation \& tracking with a single RGB-D camera by effectively leveraging advances in Gaussian Splatting. Thanks to the fast differentiable rendering capabilities of Gaussian Splatting, 6DOPE-GS can simultaneously optimize for 6D object poses and 3D object reconstruction. To achieve the necessary efficiency and accuracy for live tracking, our method uses incremental 2D Gaussian Splatting with an intelligent dynamic keyframe selection procedure to achieve high spatial object coverage and prevent erroneous pose updates. We also propose an opacity statistic-based pruning mechanism for adaptive Gaussian density control, to ensure training stability and efficiency. We evaluate our method on the HO3D and YCBInEOAT datasets and show that 6DOPE-GS matches the performance of state-of-the-art baselines for model-free simultaneous 6D pose tracking and reconstruction while providing a 5$\times$ speedup. We also demonstrate the method’s suitability for live, dynamic object tracking and reconstruction in a real-world setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL