GCF: Graph Convolutional Networks for Facial Expression Recognition

要約

表情認識 (FER) は、対人コミュニケーションを理解するために不可欠です。
ただし、既存の分類方法は、ノイズに対する脆弱性、不均衡なデータセット、過剰適合、一般化の問題などの課題に直面することがよくあります。
この論文では、FER にグラフ畳み込みネットワークを利用する新しいアプローチである GCF を提案します。
GCF は、カスタム アーキテクチャまたは事前トレーニング済みモデルのいずれかを使用して、特徴抽出のために畳み込みニューラル ネットワーク (CNN) を統合します。
抽出された視覚的特徴はグラフ上に表現され、グラフ畳み込みニューラル ネットワーク層を介してローカルな CNN 特徴をグローバル特徴で強化します。
CK+、JAFFE、FERG などのベンチマーク データセットで GCF を評価します。
結果は、GCF が最先端の方法と比べてパフォーマンスを大幅に向上させることを示しています。
たとえば、GCF は ResNet18 の精度を CK+ で 92% から 98%、JAFFE で 66% から 89%、FERG で 94% から 100% に向上させます。
同様に、GCF は VGG16 の精度を CK+ で 89% から 97%、JAFFE で 72% から 92%、FERG で 96% から 99.49% に向上させます。
私たちはアプローチを包括的に分析し、微妙な表情を捉える効果を実証します。
グラフ畳み込みを CNN と統合することにより、GCF は FER を大幅に進化させ、実際のアプリケーションでの精度と堅牢性を向上させます。

要約(オリジナル)

Facial Expression Recognition (FER) is vital for understanding interpersonal communication. However, existing classification methods often face challenges such as vulnerability to noise, imbalanced datasets, overfitting, and generalization issues. In this paper, we propose GCF, a novel approach that utilizes Graph Convolutional Networks for FER. GCF integrates Convolutional Neural Networks (CNNs) for feature extraction, using either custom architectures or pretrained models. The extracted visual features are then represented on a graph, enhancing local CNN features with global features via a Graph Convolutional Neural Network layer. We evaluate GCF on benchmark datasets including CK+, JAFFE, and FERG. The results show that GCF significantly improves performance over state-of-the-art methods. For example, GCF enhances the accuracy of ResNet18 from 92% to 98% on CK+, from 66% to 89% on JAFFE, and from 94% to 100% on FERG. Similarly, GCF improves the accuracy of VGG16 from 89% to 97% on CK+, from 72% to 92% on JAFFE, and from 96% to 99.49% on FERG. We provide a comprehensive analysis of our approach, demonstrating its effectiveness in capturing nuanced facial expressions. By integrating graph convolutions with CNNs, GCF significantly advances FER, offering improved accuracy and robustness in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google