Using Self-Supervised Auxiliary Tasks to Improve Fine-Grained Facial Representation

要約

本論文では、まず、ImageNetの事前学習がきめ細かい顔感情認識（FER）に与える影響について検討し、画像に十分な補強を行った場合、ゼロからの学習はImageNet事前学習で微調整するよりも良い結果をもたらすことを示す。次に、ハイブリッドマルチタスクラーニング(HMTL)と呼ばれる、きめ細かい野生のFERを向上させる手法を提案する。HMTLは、マルチタスク学習(MTL)の形で古典的な教師あり学習(SL)の際に、補助タスクとして自己教師あり学習(SSL)を用いるものである。学習時にSSLを活用することで、きめ細かいSLタスクのための画像からの追加情報を得ることができる。我々は、一般的なプレテキストタスク技術であるパズリングとインペインティングの2つのカスタマイズ版を設計することで、提案するHMTLがFER領域でどのように利用できるかを調査する。我々は、2種類のHMTLを用いて、AffectNetベンチマークにおいて、追加データによる事前学習を行うことなく、最先端の結果を得ることができた。一般的なSSL事前学習と提案するHMTLの実験結果は、我々の仕事の違いと優位性を示している。しかし、HMTLはFER領域のみに限定されるものではない。HMTLはFER分野に限らず、頭部ポーズ推定や性別認識といった2種類のきめ細かい顔認識課題においても、HMTLを用いたきめ細かい顔表現の改善の可能性を示している。

要約(オリジナル)

In this paper, at first, the impact of ImageNet pre-training on fine-grained Facial Emotion Recognition (FER) is investigated which shows that when enough augmentations on images are applied, training from scratch provides better result than fine-tuning on ImageNet pre-training. Next, we propose a method to improve fine-grained and in-the-wild FER, called Hybrid Multi-Task Learning (HMTL). HMTL uses Self-Supervised Learning (SSL) as an auxiliary task during classical Supervised Learning (SL) in the form of Multi-Task Learning (MTL). Leveraging SSL during training can gain additional information from images for the primary fine-grained SL task. We investigate how proposed HMTL can be used in the FER domain by designing two customized version of common pre-text task techniques, puzzling and in-painting. We achieve state-of-the-art results on the AffectNet benchmark via two types of HMTL, without utilizing pre-training on additional data. Experimental results on the common SSL pre-training and proposed HMTL demonstrate the difference and superiority of our work. However, HMTL is not only limited to FER domain. Experiments on two types of fine-grained facial tasks, i.e., head pose estimation and gender recognition, reveals the potential of using HMTL to improve fine-grained facial representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL