Cluster and Aggregate: Face Recognition with Large Probe Set

要約

特徴融合は、個々の品質が異なる $N$ 個の低品質画像のセットで入力 (プローブ) が構成される、制約のない顔認識で重要な役割を果たします。
注意モジュールと反復モジュールの進歩により、入力セット内の画像間の関係をモデル化できる機能融合が実現しました。
ただし、アテンション メカニズムは、二次的な複雑さのために大きな $N$ にスケーリングすることはできず、再帰モジュールは入力順序の感度に悩まされます。
大規模な $N$ にスケーリングし、順序不変性で順次推論を実行する機能を維持できる、2 段階の機能融合パラダイムであるクラスターと集計を提案します。
具体的には、クラスター ステージは $N$ 入力を $M$ グローバル クラスター センターに線形に割り当てることであり、集約ステージは $M$ クラスター化された機能の融合です。
クラスター化された機能は、過去の機能の要約として機能できるため、入力が連続している場合に不可欠な役割を果たします。
増分平均操作の順序不変性を活用することにより、バッチ順序不変性を達成する更新ルールを設計します。これにより、時間ステップが増加してもシーケンスの初期画像の寄与が減少しないことが保証されます。
IJB-B および IJB-S ベンチマーク データセットに関する実験は、制約のない顔認識における提案された 2 段階パラダイムの優位性を示しています。
コードと事前トレーニング済みのモデルは、https://github.com/mk-minchul/caface で入手できます。

要約(オリジナル)

Feature fusion plays a crucial role in unconstrained face recognition where inputs (probes) comprise of a set of $N$ low quality images whose individual qualities vary. Advances in attention and recurrent modules have led to feature fusion that can model the relationship among the images in the input set. However, attention mechanisms cannot scale to large $N$ due to their quadratic complexity and recurrent modules suffer from input order sensitivity. We propose a two-stage feature fusion paradigm, Cluster and Aggregate, that can both scale to large $N$ and maintain the ability to perform sequential inference with order invariance. Specifically, Cluster stage is a linear assignment of $N$ inputs to $M$ global cluster centers, and Aggregation stage is a fusion over $M$ clustered features. The clustered features play an integral role when the inputs are sequential as they can serve as a summarization of past features. By leveraging the order-invariance of incremental averaging operation, we design an update rule that achieves batch-order invariance, which guarantees that the contributions of early image in the sequence do not diminish as time steps increase. Experiments on IJB-B and IJB-S benchmark datasets show the superiority of the proposed two-stage paradigm in unconstrained face recognition. Code and pretrained models are available in https://github.com/mk-minchul/caface

arxiv情報

提供元, 利用サービス

arxiv.jp, Google