Snap-it, Tap-it, Splat-it: Tactile-Informed 3D Gaussian Splatting for Reconstructing Challenging Surfaces

要約

触覚と視覚は密接に関係しており、世界を理解する私たちの能力を相互に高めます。
研究の観点から見ると、触覚と視覚の混合の問題は十分に研究されておらず、興味深い課題を提示しています。
この目的を達成するために、我々は、タッチデータ（ローカルデプスマップ）と多視点視覚データを組み込んで表面再構成と新しいビュー合成を実現する新しいアプローチであるTactile-Informed 3DGSを提案します。
私たちの方法では、3D ガウス プリミティブを最適化し、接触点におけるオブジェクトのジオメトリを正確にモデル化します。
タッチ位置の透過率を低下させるフレームワークを作成することで、洗練された表面の再構築を実現し、均一で滑らかな深度マップを保証します。
タッチは、現代の手法では忠実な鏡面ハイライトで再構築できない傾向があるため、非ランバート オブジェクト (光沢のある表面や反射面など) を考慮する場合に特に役立ちます。
視覚と触覚センシングを組み合わせることで、従来の方法よりも少ない画像でより正確な形状の再構成が実現します。
当社は、光沢のある表面と反射性の表面を持つオブジェクトの評価を実施し、アプローチの有効性を実証し、再構築の品質が大幅に向上します。

要約(オリジナル)

Touch and vision go hand in hand, mutually enhancing our ability to understand the world. From a research perspective, the problem of mixing touch and vision is underexplored and presents interesting challenges. To this end, we propose Tactile-Informed 3DGS, a novel approach that incorporates touch data (local depth maps) with multi-view vision data to achieve surface reconstruction and novel view synthesis. Our method optimises 3D Gaussian primitives to accurately model the object’s geometry at points of contact. By creating a framework that decreases the transmittance at touch locations, we achieve a refined surface reconstruction, ensuring a uniformly smooth depth map. Touch is particularly useful when considering non-Lambertian objects (e.g. shiny or reflective surfaces) since contemporary methods tend to fail to reconstruct with fidelity specular highlights. By combining vision and tactile sensing, we achieve more accurate geometry reconstructions with fewer images than prior methods. We conduct evaluation on objects with glossy and reflective surfaces and demonstrate the effectiveness of our approach, offering significant improvements in reconstruction quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google