A Graph Neural Network Approach for Temporal Mesh Blending and Correspondence

要約

私たちは、メッシュが対応していないシナリオでのメッシュブレンディング問題を解決するための自己教師あり深層学習フレームワークを提案しました。
この問題を解決するために、私たちは拡張グラフを処理して対応関係を推定する新しいグラフ ニューラル ネットワークである Red-Blue MPNN を開発しました。
私たちは、特定の条件が満たされた場合に正確な対応関係を見つけるための新しい条件付き絞り込みスキームを設計しました。
さらに、整列したメッシュと時間値を入力として受け取り、この情報を融合してさらに処理し、望ましい結果を生成するグラフ ニューラル ネットワークを開発します。
モーション キャプチャ データセットとヒューマン メッシュ設計ソフトウェアを使用して、動いているヒューマン メッシュの時系列で構成される大規模な合成データセットを作成します。
私たちの結果は、私たちのアプローチが複雑な入力を与えると身体部分の現実的な変形を生成することを示しています。

要約(オリジナル)

We have proposed a self-supervised deep learning framework for solving the mesh blending problem in scenarios where the meshes are not in correspondence. To solve this problem, we have developed Red-Blue MPNN, a novel graph neural network that processes an augmented graph to estimate the correspondence. We have designed a novel conditional refinement scheme to find the exact correspondence when certain conditions are satisfied. We further develop a graph neural network that takes the aligned meshes and the time value as input and fuses this information to process further and generate the desired result. Using motion capture datasets and human mesh designing software, we create a large-scale synthetic dataset consisting of temporal sequences of human meshes in motion. Our results demonstrate that our approach generates realistic deformation of body parts given complex inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google