Improving Domain Generalization on Gaze Estimation via Branch-out Auxiliary Regularization

要約

目覚ましい進歩にもかかわらず、主流の視線推定技術、特に外観ベースの方法は、制御されていない環境では照明や個々の顔の属性の変化によるパフォーマンスの低下に悩まされることがよくあります。
既存のドメイン適応戦略は、ターゲット ドメイン サンプルの必要性によって制限されており、現実世界のアプリケーションでは不十分である可能性があります。
このレターでは、ターゲット ドメイン データへの直接アクセスを必要とせずに視線推定の汎化機能を強化するように設計された革新的な手法であるブランチアウト補助正則化 (BAR) を紹介します。
具体的には、BAR は 2 つの補助的な一貫性正則化ブランチを統合します。1 つは拡張サンプルを使用して環境変動に対抗するもので、もう 1 つは視線方向をポジティブなソース ドメイン サンプルと一致させて一貫した視線特徴の学習を促進するものです。
これらの補助経路はコア ネットワークを強化し、スムーズなプラグ アンド プレイ方式で統合されるため、他のさまざまなモデルへの容易な適応が容易になります。
4 つのデータセット間タスクに関する包括的な実験評価により、私たちのアプローチの優位性が実証されました。

要約(オリジナル)

Despite remarkable advancements, mainstream gaze estimation techniques, particularly appearance-based methods, often suffer from performance degradation in uncontrolled environments due to variations in illumination and individual facial attributes. Existing domain adaptation strategies, limited by their need for target domain samples, may fall short in real-world applications. This letter introduces Branch-out Auxiliary Regularization (BAR), an innovative method designed to boost gaze estimation’s generalization capabilities without requiring direct access to target domain data. Specifically, BAR integrates two auxiliary consistency regularization branches: one that uses augmented samples to counteract environmental variations, and another that aligns gaze directions with positive source domain samples to encourage the learning of consistent gaze features. These auxiliary pathways strengthen the core network and are integrated in a smooth, plug-and-play manner, facilitating easy adaptation to various other models. Comprehensive experimental evaluations on four cross-dataset tasks demonstrate the superiority of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google