Uncertainty-Aware Label Refinement on Hypergraphs for Personalized Federated Facial Expression Recognition

要約

表情認識（FER）モデルの多くは、大規模な表情データを用いた集中学習によって学習される。しかし、残念なことに、顔画像のプライバシーの問題から、集中的に大量の表情データを収集することは実際には困難である。本論文では、実世界のアプリケーションにとって貴重かつ実用的な分散型設定である、パーソナライズされた連合学習の枠組みの下でFERを研究する。この目的のために、我々は新しい不確実性を考慮したhYpergraphs上のラベル精密化（AMY）手法を開発する。局所学習のために、各局所モデルはバックボーン、不確実性推定（UE）ブロック、表現分類（EC）ブロックから構成される。UEブロックでは、ハイパーグラフを活用して発現サンプル間の複雑な高次関係をモデル化し、これらの関係を不確実性特徴に組み込む。次に、ローカルクライアント内のサンプルの信頼できる不確実性の重みを推定するために、パーソナライズされた不確実性推定器を導入する。ECブロックでは、ハイパーグラフ上でラベル伝播を実行し、表現分類器を再トレーニングするための高品質な洗練されたラベルを得る。以上により、クライアント間の不均一なサンプルの不確実性を効果的に緩和し、各クライアントにおいて頑健なパーソナライズされたFERモデルを学習する。2つの困難な実世界の表情データベースを用いた実験結果から、我々の提案手法は、複数の最先端手法を一貫して凌駕することが示される。これは、個人化された連携FERタスクにおける不確実性推定とラベル洗練のためのハイパーグラフモデリングの優位性を示している。ソースコードはhttps://github.com/mobei1006/AMY。

要約(オリジナル)

Most facial expression recognition (FER) models are trained on large-scale expression data with centralized learning. Unfortunately, collecting a large amount of centralized expression data is difficult in practice due to privacy concerns of facial images. In this paper, we investigate FER under the framework of personalized federated learning, which is a valuable and practical decentralized setting for real-world applications. To this end, we develop a novel uncertainty-Aware label refineMent on hYpergraphs (AMY) method. For local training, each local model consists of a backbone, an uncertainty estimation (UE) block, and an expression classification (EC) block. In the UE block, we leverage a hypergraph to model complex high-order relationships between expression samples and incorporate these relationships into uncertainty features. A personalized uncertainty estimator is then introduced to estimate reliable uncertainty weights of samples in the local client. In the EC block, we perform label propagation on the hypergraph, obtaining high-quality refined labels for retraining an expression classifier. Based on the above, we effectively alleviate heterogeneous sample uncertainty across clients and learn a robust personalized FER model in each client. Experimental results on two challenging real-world facial expression databases show that our proposed method consistently outperforms several state-of-the-art methods. This indicates the superiority of hypergraph modeling for uncertainty estimation and label refinement on the personalized federated FER task. The source code will be released at https://github.com/mobei1006/AMY.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL