CloSe: A 3D Clothing Segmentation Dataset and Model

要約

3D 衣類のモデリングとデータセットは、エンターテインメント、アニメーション、デジタル ファッション業界で重要な役割を果たしています。
既存の作品は、多くの場合、詳細な意味の理解を欠いていたり、合成データセットを使用しており、リアリズムやパーソナライゼーションに欠けています。
これに対処するために、まず CloSe-D を導入します。これは、18 の異なる衣服クラスの範囲をカバーする、3167 スキャンの 3D 衣服セグメンテーションを含む新しい大規模データセットです。
さらに、色付き点群からのきめの細かいセグメンテーションのための初の学習ベースの 3D 衣類セグメンテーション モデルである CloSe-Net を提案します。
CloSe-Net は、ローカル ポイント特徴、身体と衣類の相関関係、衣類クラスとポイント特徴ベースのアテンション モジュールを使用して、ベースラインや以前の作業よりもパフォーマンスを向上させます。
提案されたアテンション モジュールにより、モデルは外観と形状に依存する衣服をデータから事前に学習できるようになります。
さらに、衣服を着た人々の公開されているデータセットを正常にセグメント化することで、アプローチの有効性を検証します。
また、セグメンテーション ラベルを調整するための 3D インタラクティブ ツールである CloSe-T も紹介します。
継続的な学習セットアップでこのツールと CloSe-T を組み合わせると、実世界のデータに対する一般化が向上することが実証されます。
データセット、モデル、ツールは https://virtualhumans.mpi-inf.mpg.de/close3dv24/ にあります。

要約(オリジナル)

3D Clothing modeling and datasets play crucial role in the entertainment, animation, and digital fashion industries. Existing work often lacks detailed semantic understanding or uses synthetic datasets, lacking realism and personalization. To address this, we first introduce CloSe-D: a novel large-scale dataset containing 3D clothing segmentation of 3167 scans, covering a range of 18 distinct clothing classes. Additionally, we propose CloSe-Net, the first learning-based 3D clothing segmentation model for fine-grained segmentation from colored point clouds. CloSe-Net uses local point features, body-clothing correlation, and a garment-class and point features-based attention module, improving performance over baselines and prior work. The proposed attention module enables our model to learn appearance and geometry-dependent clothing prior from data. We further validate the efficacy of our approach by successfully segmenting publicly available datasets of people in clothing. We also introduce CloSe-T, a 3D interactive tool for refining segmentation labels. Combining the tool with CloSe-T in a continual learning setup demonstrates improved generalization on real-world data. Dataset, model, and tool can be found at https://virtualhumans.mpi-inf.mpg.de/close3dv24/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google