DIG-FACE: De-biased Learning for Generalized Facial Expression Category Discovery

要約

既知のカテゴリを効果的に認識しながら、まだ見たことのない新しい表情を発見する新しいタスク、一般化顔表情カテゴリ発見 (G-FACE) を紹介します。
自然画像用の一般化されたカテゴリ検出方法はありますが、G-FACE ではパフォーマンスが低下します。
学習に影響を与える 2 つのバイアスを特定しました。ラベルなしデータの新しいカテゴリとラベル付きデータの既知のカテゴリの間の根本的な分布ギャップから来る暗黙のバイアスと、既知の表情から未知の表現への明示的な顔の視覚的変化特性に対する好みのシフトから来る明示的なバイアスです。
表現。
両方のバイアスによって引き起こされる課題に対処することで、暗黙的バイアスと明示的バイアスの両方のバイアス除去を容易にするバイアス除去 G-FACE 手法、つまり DIG-FACE を提案します。
DIG-FACE の暗黙的バイアス除去プロセスでは、暗黙的バイアスの上限を推定して最小化することを目的とした新しい学習戦略を考案します。
明示的なバイアス除去プロセスでは、サンプルレベル、トリプレットレベル、および分布レベルの最適化という階層的なカテゴリ識別改良戦略を導入することにより、微妙な視覚的表情データを処理するモデルの能力を最適化します。
広範な実験により、当社の DIG-FACE が既知のカテゴリと新しいカテゴリの両方の認識精度を大幅に向上させ、この種のタスクに初の標準を設定することが実証されました。

要約(オリジナル)

We introduce a novel task, Generalized Facial Expression Category Discovery (G-FACE), that discovers new, unseen facial expressions while recognizing known categories effectively. Even though there are generalized category discovery methods for natural images, they show compromised performance on G-FACE. We identified two biases that affect the learning: implicit bias, coming from an underlying distributional gap between new categories in unlabeled data and known categories in labeled data, and explicit bias, coming from shifted preference on explicit visual facial change characteristics from known expressions to unknown expressions. By addressing the challenges caused by both biases, we propose a Debiased G-FACE method, namely DIG-FACE, that facilitates the debiasing of both implicit and explicit biases. In the implicit debiasing process of DIG-FACE, we devise a novel learning strategy that aims at estimating and minimizing the upper bound of implicit bias. In the explicit debiasing process, we optimize the model’s ability to handle nuanced visual facial expression data by introducing a hierarchical category-discrimination refinement strategy: sample-level, triplet-level, and distribution-level optimizations. Extensive experiments demonstrate that our DIG-FACE significantly enhances recognition accuracy for both known and new categories, setting a first-of-its-kind standard for the task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google