TransTouch: Learning Transparent Objects Depth Sensing Through Sparse Touches

要約

透明な物体は日常生活でよく使われます。
ただし、透明なオブジェクトの深度センシングは依然として困難な問題です。
学習ベースの手法では形状事前分布を利用してセンシング品質を向上させることができますが、現実世界での労働集約的なデータ収集とシミュレーションと現実のドメインのギャップにより、これらの手法のスケーラビリティが制限されます。
この論文では、触覚フィードバックを備えたプロービング システムを使用して自動的に収集されたまばらな深度ラベルを使用してステレオ ネットワークを微調整する方法を提案します。
タッチの利点を評価するための新しい効用関数を提案します。
ユーティリティ関数を近似して最適化することで、固定のタッチ バジェットを与えてプローブ位置を最適化し、実際のオブジェクトに対するネットワークのパフォーマンスをより向上させることができます。
さらに、微調整中の過剰適合を防ぐために、触覚深さの監視と信頼度に基づく正則化を組み合わせます。
私たちの方法の有効性を評価するために、拡散オブジェクトと透明オブジェクトの両方を含む現実世界のデータセットを構築します。
このデータセットの実験結果は、私たちの方法が、特に透明なオブジェクトの場合、現実世界の深度センシングの精度を大幅に向上できることを示しています。

要約(オリジナル)

Transparent objects are common in daily life. However, depth sensing for transparent objects remains a challenging problem. While learning-based methods can leverage shape priors to improve the sensing quality, the labor-intensive data collection in the real world and the sim-to-real domain gap restrict these methods’ scalability. In this paper, we propose a method to finetune a stereo network with sparse depth labels automatically collected using a probing system with tactile feedback. We present a novel utility function to evaluate the benefit of touches. By approximating and optimizing the utility function, we can optimize the probing locations given a fixed touching budget to better improve the network’s performance on real objects. We further combine tactile depth supervision with a confidence-based regularization to prevent over-fitting during finetuning. To evaluate the effectiveness of our method, we construct a real-world dataset including both diffuse and transparent objects. Experimental results on this dataset show that our method can significantly improve real-world depth sensing accuracy, especially for transparent objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google