Structure-Aware 3D VR Sketch to 3D Shape Retrieval

要約

細粒度の 3D-VR スケッチに基づく 3D 形状検索の実用的なタスクを研究します。
2D スケッチは 2D 画像の効果的なクエリであることが示されたので、このタスクは特に興味深いものです。
ただし、ドメイン ギャップが原因で、2D スケッチからの 3D 形状検索で強力なパフォーマンスを実現することは依然として困難です。
最近の研究では、このタスクにおける 3D VR スケッチの利点が実証されました。
私たちの仕事では、3D VR スケッチに固有の不正確さによって引き起こされる課題に焦点を当てています。
検索タスクに一般的に使用される、固定マージン値を持つトリプレット損失で得られた検索結果には、多くの無関係な形状が含まれており、多くの場合、クエリと同様の構造を持つ 1 つまたは少数しか含まれていません。
この問題を軽減するために、アダプティブ マージン値と形状の類似性との間の関係を初めて描きました。
特に、構造保存変形下での 2 つの形状の類似性である「フィッティング ギャップ」によって駆動される適応マージン値を持つトリプレット ロスを使用することを提案します。
また、このフィッティングギャップが実際に形状の構造的類似性を評価するための適切な基準であることを確認するユーザースタディを実施します。
さらに、観察ではなく記憶から引き出された 202 個の 3D 形状の 202 個の VR スケッチのデータセットを紹介します。
コードとデータは、https://github.com/Rowl1ng/Structure-Aware-VR-Sketch-Shape-Retrieval で入手できます。

要約(オリジナル)

We study the practical task of fine-grained 3D-VR-sketch-based 3D shape retrieval. This task is of particular interest as 2D sketches were shown to be effective queries for 2D images. However, due to the domain gap, it remains hard to achieve strong performance in 3D shape retrieval from 2D sketches. Recent work demonstrated the advantage of 3D VR sketching on this task. In our work, we focus on the challenge caused by inherent inaccuracies in 3D VR sketches. We observe that retrieval results obtained with a triplet loss with a fixed margin value, commonly used for retrieval tasks, contain many irrelevant shapes and often just one or few with a similar structure to the query. To mitigate this problem, we for the first time draw a connection between adaptive margin values and shape similarities. In particular, we propose to use a triplet loss with an adaptive margin value driven by a ‘fitting gap’, which is the similarity of two shapes under structure-preserving deformations. We also conduct a user study which confirms that this fitting gap is indeed a suitable criterion to evaluate the structural similarity of shapes. Furthermore, we introduce a dataset of 202 VR sketches for 202 3D shapes drawn from memory rather than from observation. The code and data are available at https://github.com/Rowl1ng/Structure-Aware-VR-Sketch-Shape-Retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google