FOF: Learning Fourier Occupancy Field for Monocular Real-time Human Reconstruction

要約

ディープラーニングの出現により、単眼の人間の再構築が大幅に進歩しました。
ただし、パラメトリックモデル、ボクセルグリッド、メッシュ、暗黙的なニューラル表現などの既存の表現では、高品質の結果とリアルタイムの速度を同時に実現することは困難です。
この論文では、単眼のリアルタイムで正確な人間の再構成のための、新しい強力で効率的かつ柔軟な3D表現であるフーリエ占有フィールド（FOF）を提案します。
FOFは、ビュー方向に直交する2Dフィールドを持つ3Dオブジェクトを表します。各2D位置で、ビュー方向に沿ったオブジェクトの占有フィールドは、フーリエ級数の最初のいくつかの項でコンパクトに表されます。
2Dドメイン。
FOFは、2D畳み込みニューラルネットワークと互換性があり、3Dジオメトリと2D画像の間のギャップを埋めることができるマルチチャネル画像として保存できます。
FOFは非常に柔軟で拡張可能です。たとえば、パラメトリックモデルは、より堅牢な結果を生成する前に、FOFに簡単に統合できます。
FOFに基づいて、最初の30+FPS高忠実度リアルタイム単眼人間再構成フレームワークを設計します。
公開データセットと実際にキャプチャされたデータの両方でFOFの可能性を示します。
コードは研究目的でリリースされます。

要約(オリジナル)

The advent of deep learning has led to significant progress in monocular human reconstruction. However, existing representations, such as parametric models, voxel grids, meshes and implicit neural representations, have difficulties achieving high-quality results and real-time speed at the same time. In this paper, we propose Fourier Occupancy Field (FOF), a novel powerful, efficient and flexible 3D representation, for monocular real-time and accurate human reconstruction. The FOF represents a 3D object with a 2D field orthogonal to the view direction where at each 2D position the occupancy field of the object along the view direction is compactly represented with the first few terms of Fourier series, which retains the topology and neighborhood relation in the 2D domain. A FOF can be stored as a multi-channel image, which is compatible with 2D convolutional neural networks and can bridge the gap between 3D geometries and 2D images. The FOF is very flexible and extensible, e.g., parametric models can be easily integrated into a FOF as a prior to generate more robust results. Based on FOF, we design the first 30+FPS high-fidelity real-time monocular human reconstruction framework. We demonstrate the potential of FOF on both public dataset and real captured data. The code will be released for research purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google