Efficient Labelling of Affective Video Datasets via Few-Shot & Multi-Task Contrastive Learning

要約

ディープラーニング技術は優れた感情予測を達成していますが、それでも大量のラベル付き学習データが必要であり、(a)コンパイルに手間がかかり、(b)エラーやバイアスが発生しやすいという問題があります。そこで、私たちは、マルチタスク対比学習による感情表現（Multi-Task Contrastive Learning for Affect Representation）を提案します。MT-CLARはマルチタスク学習と対比学習によって学習されたシャムネットワークを組み合わせ、表情画像のペアから(a)表情の(非)類似性、(b)2つの顔の価数や覚醒度の違いを推測する。さらに、画像ベースのMT-CLARフレームワークを自動ビデオラベリングのために拡張し、1つまたはいくつかのラベル付きビデオフレーム（support-set}と呼ぶ）が与えられると、MT-CLARはビデオの残りの部分に価値と覚醒度をラベル付けする。さらに、AffectNetとAFEW-VAデータセットにおいて、MT-CLARによって学習された表現に対する教師あり学習が、価数、覚醒度、カテゴリー感情予測に用いられている。その結果、MT-CLARによる価数と覚醒度予測は最先端技術(SOTA)に匹敵し、ビデオデータセットの$approx$6%のサポートセットでSOTAを有意に上回る。

要約(オリジナル)

Whilst deep learning techniques have achieved excellent emotion prediction, they still require large amounts of labelled training data, which are (a) onerous and tedious to compile, and (b) prone to errors and biases. We propose Multi-Task Contrastive Learning for Affect Representation (\textbf{MT-CLAR}) for few-shot affect inference. MT-CLAR combines multi-task learning with a Siamese network trained via contrastive learning to infer from a pair of expressive facial images (a) the (dis)similarity between the facial expressions, and (b) the difference in valence and arousal levels of the two faces. We further extend the image-based MT-CLAR framework for automated video labelling where, given one or a few labelled video frames (termed \textit{support-set}), MT-CLAR labels the remainder of the video for valence and arousal. Experiments are performed on the AFEW-VA dataset with multiple support-set configurations; moreover, supervised learning on representations learnt via MT-CLAR are used for valence, arousal and categorical emotion prediction on the AffectNet and AFEW-VA datasets. The results show that valence and arousal predictions via MT-CLAR are very comparable to the state-of-the-art (SOTA), and we significantly outperform SOTA with a support-set $\approx$6\% the size of the video dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL