From 2D Images to 3D Model:Weakly Supervised Multi-View Face Reconstruction with Deep Fusion

要約

弱教師付き多視点顔再構成（MVR）が注目を集めている一方で、1つの重要な課題がまだ残されている：高精度3Dモデルを再構成するために複数の画像情報を効果的に融合する方法である。この点に関して、我々はディープフュージョンMVR（DF-MVR）と呼ばれる新しいモデルを提案し、多視点画像から深い特徴を注意深く抽出、統合、補正できる、スキップ接続を用いた多視点符号化から単一復号化のフレームワークを設計する。さらに、インボリューションカーネルを採用し、深層融合特徴量をチャンネル特徴量で豊かにする。さらに、多視点画像内の重要な共通顔領域を学習、識別、強調するための顔解析ネットワークを開発する。Pixel-FaceデータセットとBosphorusデータセットでの実験から、我々のモデルの優位性が示される。3Dアノテーション無しで、DF-MVRはPixel-FaceとBosphorusデータセットにおいて、既存の弱教師付きMVRに対してそれぞれ5.2%と3.0%のRMSE改善を達成した。コードはhttps://github.com/weiguangzhao/DF_MVR。

要約(オリジナル)

While weakly supervised multi-view face reconstruction (MVR) is garnering increased attention, one critical issue still remains open: how to effectively fuse multiple image information to reconstruct high-precision 3D models. In this regard, we propose a novel model called Deep Fusion MVR (DF-MVR) and design a multi-view encoding to single decoding framework with skip connections, able to extract, integrate, and compensate deep features with attention from multi-view images. Furthermore, we adopt the involution kernel to enrich deep fusion features with channel features. In addition, we develop the face parse network to learn, identify, and emphasize the critical common face area within multi-view images. Experiments on Pixel-Face and Bosphorus datasets indicate the superiority of our model. Without 3D annotation, DF-MVR achieves 5.2% and 3.0% RMSE improvement over the existing weakly supervised MVRs respectively on Pixel-Face and Bosphorus dataset. Code will be available publicly at https://github.com/weiguangzhao/DF_MVR.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL