3D-TexSeg: Unsupervised Segmentation of 3D Texture using Mutual Transformer Learning

要約

3D テクスチャの解析は、彫刻、編物、生体組織の検索、分割、分類、検査などのさまざまな作業に不可欠です。
3D テクスチャは、表面の全体的な形状とは無関係に、局所的に繰り返される表面の変化であり、局所的な近傍とその特性を使用して決定できます。
既存の技術は通常、3D メッシュをグローバルに分析し、特徴を導き出し、取得した特徴を検索または分類に利用するコンピューター ビジョン技術を採用しています。
いくつかの伝統的な学習ベースの方法が文献に存在しますが、3D テクスチャに関するものはほんのわずかで、教師なしスキームに関するものは、私たちの知る限りではまだありません。
この論文では、メッシュ多様体上の 3D テクスチャの教師なしセグメンテーションのための独自のフレームワークを紹介します。
我々は、事前のアノテーションなしでメッシュ サーフェスをテクスチャ領域と非テクスチャ領域に分割するバイナリ サーフェス セグメンテーションとしてこの問題にアプローチします。
ラベル生成器とクリーナーからなる相互変圧器ベースのシステムを考案しました。
2 つのモデルは、サーフェス メッシュ ファセットの幾何学的イメージ表現を取得し、反復相互学習スキーム全体にわたってテクスチャまたは非テクスチャとしてラベル付けします。
多様なテクスチャ パターンを持つ 3 つの公的に利用可能なデータセットに対する広範な実験により、提案されたフレームワークが標準および SOTA 教師なし手法を上回り、教師あり手法と合理的に競合できることが実証されました。

要約(オリジナル)

Analysis of the 3D Texture is indispensable for various tasks, such as retrieval, segmentation, classification, and inspection of sculptures, knitted fabrics, and biological tissues. A 3D texture is a locally repeated surface variation independent of the surface’s overall shape and can be determined using the local neighborhood and its characteristics. Existing techniques typically employ computer vision techniques that analyze a 3D mesh globally, derive features, and then utilize the obtained features for retrieval or classification. Several traditional and learning-based methods exist in the literature, however, only a few are on 3D texture, and nothing yet, to the best of our knowledge, on the unsupervised schemes. This paper presents an original framework for the unsupervised segmentation of the 3D texture on the mesh manifold. We approach this problem as binary surface segmentation, partitioning the mesh surface into textured and non-textured regions without prior annotation. We devise a mutual transformer-based system comprising a label generator and a cleaner. The two models take geometric image representations of the surface mesh facets and label them as texture or non-texture across an iterative mutual learning scheme. Extensive experiments on three publicly available datasets with diverse texture patterns demonstrate that the proposed framework outperforms standard and SOTA unsupervised techniques and competes reasonably with supervised methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google