How Will It Drape Like? Capturing Fabric Mechanics from Depth Images

要約

タイトル：深度画像から生地の物理特性をキャプチャーする方法- 「How Will It Drape Like? Capturing Fabric Mechanics from Depth Images」

要約：
– 深度カメラを使用したカジュアルなキャプチャーセットアップを用いて、生地の物理特性を推定する方法を提案する。
– 当社のアプローチは、多くのインタラクティブ設計およびエンジニアリングアプリケーションに必要な、実世界のテキスタイル素材の力学的に正確なデジタル表現を作成することを可能にする。
– 既存のキャプチャー方法では、高価なセットアップ、ビデオシーケンス、または手動介入が通常必要であるが、私たちの解決策はスケーラブルであり、テキスタイルの光学的外観に無関係で、非専門家のオペレーターによる生地の配置を容易にする。
– このために、1つまたは複数の画像を入力とし、完全な力学的特性セットを出力する学習ベースのフレームワークを訓練するsim-to-real戦略を提案する。
– 厳密に設計されたデータ拡張と転移学習プロトコルにより、私たちのソリューションは合成データでのみトレーニングされたにもかかわらず、実際の画像に汎用性があり、したがってsim-to-realループを正常に閉じることができる。
– 弊社の作業の重要な点は、パラメータ空間での類似性に基づいて回帰精度を評価することが、人間の知覚に一致しない不正確な距離を導くことを示すことです。これを克服するために、パラメータ空間ではなく画像ドメインで操作する生地のドレープ類似性についての新しいメトリックを提案し、類似性ランクの文脈で私たちの推定を評価することができる。
– 私たちは、私たちのメトリックが人間のドレープ類似性の知覚と相関していること、および私たちのモデルの予測がグランドトゥルースパラメータと比較して知覚的に正確な結果を生み出すことを示しています。

要約(オリジナル)

We propose a method to estimate the mechanical parameters of fabrics using a casual capture setup with a depth camera. Our approach enables to create mechanically-correct digital representations of real-world textile materials, which is a fundamental step for many interactive design and engineering applications. As opposed to existing capture methods, which typically require expensive setups, video sequences, or manual intervention, our solution can capture at scale, is agnostic to the optical appearance of the textile, and facilitates fabric arrangement by non-expert operators. To this end, we propose a sim-to-real strategy to train a learning-based framework that can take as input one or multiple images and outputs a full set of mechanical parameters. Thanks to carefully designed data augmentation and transfer learning protocols, our solution generalizes to real images despite being trained only on synthetic data, hence successfully closing the sim-to-real loop.Key in our work is to demonstrate that evaluating the regression accuracy based on the similarity at parameter space leads to an inaccurate distances that do not match the human perception. To overcome this, we propose a novel metric for fabric drape similarity that operates on the image domain instead on the parameter space, allowing us to evaluate our estimation within the context of a similarity rank. We show that out metric correlates with human judgments about the perception of drape similarity, and that our model predictions produce perceptually accurate results compared to the ground truth parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI