Multi-RoI Human Mesh Recovery with Camera Consistency and Contrastive Losses

要約

3D メッシュに加えて、ヒューマン メッシュ回復 (HMR) メソッドでは通常、2D 再投影損失を計算するためにカメラを推定する必要があります。
以前のアプローチでは、次の問題が発生する可能性があります。メッシュとカメラの両方が正しくありませんが、それらを組み合わせると低い再投影損失が得られる可能性があります。
この問題を軽減するために、同じ人間を含む複数の RoI (関心領域) を定義し、複数の RoI ベースの HMR 手法を提案します。
私たちの重要なアイデアは、入力として複数の RoI を使用して、複数のローカル カメラを推定し、カメラ間に追加の制約を設計して適用して、カメラの精度を向上させ、ひいては対応する 3D メッシュの精度を向上させる機会を得られるということです。
このアイデアを実装するために、すべての RoI と RoI に対応するローカル カメラによって共有される 3D メッシュを推定する RoI 認識特徴融合ネットワークを提案します。
ローカル カメラに課せられる追加の制約として、ローカル カメラの一貫性損失を構築することによって、ローカル カメラを完全な画像のカメラに変換できることがわかります。
複数の RoI を導入するもう 1 つの利点は、ネットワークを対照学習フレームワークにカプセル化し、対照損失を適用してネットワークのトレーニングを正規化できることです。
実験により、我々のマルチRoI HMR法の有効性と最近の先行技術に対する優位性が実証されました。
私たちのコードは https://github.com/CptDiaos/Multi-RoI で入手できます。

要約(オリジナル)

Besides a 3D mesh, Human Mesh Recovery (HMR) methods usually need to estimate a camera for computing 2D reprojection loss. Previous approaches may encounter the following problem: both the mesh and camera are not correct but the combination of them can yield a low reprojection loss. To alleviate this problem, we define multiple RoIs (region of interest) containing the same human and propose a multiple-RoI-based HMR method. Our key idea is that with multiple RoIs as input, we can estimate multiple local cameras and have the opportunity to design and apply additional constraints between cameras to improve the accuracy of the cameras and, in turn, the accuracy of the corresponding 3D mesh. To implement this idea, we propose a RoI-aware feature fusion network by which we estimate a 3D mesh shared by all RoIs as well as local cameras corresponding to the RoIs. We observe that local cameras can be converted to the camera of the full image through which we construct a local camera consistency loss as the additional constraint imposed on local cameras. Another benefit of introducing multiple RoIs is that we can encapsulate our network into a contrastive learning framework and apply a contrastive loss to regularize the training of our network. Experiments demonstrate the effectiveness of our multi-RoI HMR method and superiority to recent prior arts. Our code is available at https://github.com/CptDiaos/Multi-RoI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google