ADNet: Leveraging Error-Bias Towards Normal Direction in Face Alignment

要約

最近の CNN の進歩により、顔の位置合わせのパフォーマンスが劇的に向上しました。
しかし、顔ランドマークの誤差分布に関する誤差バイアスに注意を払った研究はほとんどありません。
この論文では、ランドマーク誤差の分布がランドマーク曲線への接線に沿って広がる傾向がある、顔の位置合わせにおける誤差バイアスの問題を調査します。
このエラー バイアスは、あいまいなランドマークのラベル付けタスクと密接に関連しているため、自明ではありません。
この観察に着想を得て、CNN モデルの収束を改善するためにエラー バイアス プロパティを活用する方法を模索します。
この目的のために、座標回帰とヒートマップ回帰にそれぞれ異方性方向損失 (ADL) と異方性注意モジュール (AAM) を提案します。
ADL は、顔の境界上の各ランドマーク ポイントに対して法線方向に強い拘束力を課します。
一方、AAM は、ポイントの領域と隣接するポイントで接続されたローカル エッジに焦点を当てた異方性の注意マスクを取得できる注意モジュールであり、通常よりも接線で強い応答を持ちます。つまり、接線の制約が緩和されます。
これらの 2 つの方法は、顔の構造とテクスチャの詳細の両方を学習するために補完的な方法で機能します。
最後に、ADNet という名前の最適化されたエンドツーエンドのトレーニング パイプラインにそれらを統合します。
当社の ADNet は、300W、WFLW、および COFW データセットで最先端の結果を達成しており、有効性と堅牢性を実証しています。

要約(オリジナル)

The recent progress of CNN has dramatically improved face alignment performance. However, few works have paid attention to the error-bias with respect to error distribution of facial landmarks. In this paper, we investigate the error-bias issue in face alignment, where the distributions of landmark errors tend to spread along the tangent line to landmark curves. This error-bias is not trivial since it is closely connected to the ambiguous landmark labeling task. Inspired by this observation, we seek a way to leverage the error-bias property for better convergence of CNN model. To this end, we propose anisotropic direction loss (ADL) and anisotropic attention module (AAM) for coordinate and heatmap regression, respectively. ADL imposes strong binding force in normal direction for each landmark point on facial boundaries. On the other hand, AAM is an attention module which can get anisotropic attention mask focusing on the region of point and its local edge connected by adjacent points, it has a stronger response in tangent than in normal, which means relaxed constraints in the tangent. These two methods work in a complementary manner to learn both facial structures and texture details. Finally, we integrate them into an optimized end-to-end training pipeline named ADNet. Our ADNet achieves state-of-the-art results on 300W, WFLW and COFW datasets, which demonstrates the effectiveness and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google