Touch-GS: Visual-Tactile Supervised 3D Gaussian Splatting

要約

この研究では、光学触覚センサーを使用して 3D ガウス スプラッティング (3DGS) シーンを監視する新しい方法を提案します。
光学式触覚センサーは、ロボット工学における操作や物体の表現に広く使用されています。
ただし、生の光学触覚センサー データは、3DGS シーンを直接監視するのには適していません。
私たちの表現では、ガウス プロセスの暗黙的曲面を活用してオブジェクトを暗黙的に表現し、多くのタッチを不確実性のある統一表現に組み合わせます。
このモデルを単眼深度推定ネットワークと結合します。このネットワークは、深度カメラと大まかに位置合わせしてから、タッチ データに一致するように微調整するという 2 段階のプロセスで調整されます。
すべてのトレーニング画像に対して、私たちの方法は、対応する深度と不確実性の融合マップを生成します。
この追加情報を利用して、3DGS シーン モデルをトレーニングするための新しい損失関数である分散重み付き深度教師付き損失を提案します。
DenseTact 光学触覚センサーと RealSense RGB-D カメラを活用して、この方法でタッチと視覚を組み合わせると、不透明だけでなく反射面や反射面でも少数ビューのシーン合成で視覚やタッチだけよりも定量的および質的に優れた結果が得られることを示します。
透明な物体。
http://armlabstanford.github.io/touch-gs のプロジェクト ページをご覧ください。

要約(オリジナル)

In this work, we propose a novel method to supervise 3D Gaussian Splatting (3DGS) scenes using optical tactile sensors. Optical tactile sensors have become widespread in their use in robotics for manipulation and object representation; however, raw optical tactile sensor data is unsuitable to directly supervise a 3DGS scene. Our representation leverages a Gaussian Process Implicit Surface to implicitly represent the object, combining many touches into a unified representation with uncertainty. We merge this model with a monocular depth estimation network, which is aligned in a two stage process, coarsely aligning with a depth camera and then finely adjusting to match our touch data. For every training image, our method produces a corresponding fused depth and uncertainty map. Utilizing this additional information, we propose a new loss function, variance weighted depth supervised loss, for training the 3DGS scene model. We leverage the DenseTact optical tactile sensor and RealSense RGB-D camera to show that combining touch and vision in this manner leads to quantitatively and qualitatively better results than vision or touch alone in a few-view scene syntheses on opaque as well as on reflective and transparent objects. Please see our project page at http://armlabstanford.github.io/touch-gs

arxiv情報

提供元, 利用サービス

arxiv.jp, Google