A Quantitative Evaluation of the Expressivity of BMI, Pose and Gender in Body Embeddings for Recognition and Identification

要約

人の再識別（Reid）システムは、画像やビデオフレーム全体の個人を特定し、さまざまな現実世界のアプリケーションで重要な役割を果たします。
ただし、多くのREIDメソッドは、性別、ポーズ、ボディマスインデックス（BMI）などの敏感な属性の影響を受けます。これは、制御されていない環境で異なり、バイアスと一般化の減少につながります。
これに対処するために、表現力の概念を身体認識ドメインに拡張して、Reidモデルがこれらの属性をエンコードする方法をよりよく理解します。
特徴ベクトル表現と特定の属性の間の相互情報として定義される表現率は、特徴と属性ベクトルを入力として使用する二次ニューラルネットワークを使用して計算されます。
これは、モデルの表現に機密属性が埋め込まれている範囲を分析するための定量的フレームワークを提供します。
最先端の自己監督のReidモデルであるSemreidに表現率分析を適用し、BMIがモデルの最終レイヤーで最高の表現性スコアを一貫して示し、特徴エンコーディングにおける支配的な役割を強調していることがわかります。
訓練されたネットワークの最終的な注意層では、身体属性の表現力の順序はBMI>ピッチ>ヨー>性別であり、学習した表現における相対的な重要性を強調しています。
さらに、表現率の値は、ネットワークレイヤーとトレーニングエポック全体で徐々に進化し、機能抽出中の属性の動的なエンコードを反映しています。
これらの洞察は、Reidモデルに対する身体関連の属性の影響を強調し、属性駆動型のバイアスを特定して軽減するための体系的な方法論を提供します。
表現力分析を活用することにより、多様な現実世界の設定におけるREIDシステムの公平性、堅牢性、および一般化を強化するための貴重なツールを提供します。

要約(オリジナル)

Person Re-identification (ReID) systems identify individuals across images or video frames and play a critical role in various real-world applications. However, many ReID methods are influenced by sensitive attributes such as gender, pose, and body mass index (BMI), which vary in uncontrolled environments, leading to biases and reduced generalization. To address this, we extend the concept of expressivity to the body recognition domain to better understand how ReID models encode these attributes. Expressivity, defined as the mutual information between feature vector representations and specific attributes, is computed using a secondary neural network that takes feature and attribute vectors as inputs. This provides a quantitative framework for analyzing the extent to which sensitive attributes are embedded in the model’s representations. We apply expressivity analysis to SemReID, a state-of-the-art self-supervised ReID model, and find that BMI consistently exhibits the highest expressivity scores in the model’s final layers, underscoring its dominant role in feature encoding. In the final attention layer of the trained network, the expressivity order for body attributes is BMI > Pitch > Yaw > Gender, highlighting their relative importance in learned representations. Additionally, expressivity values evolve progressively across network layers and training epochs, reflecting a dynamic encoding of attributes during feature extraction. These insights emphasize the influence of body-related attributes on ReID models and provide a systematic methodology for identifying and mitigating attribute-driven biases. By leveraging expressivity analysis, we offer valuable tools to enhance the fairness, robustness, and generalization of ReID systems in diverse real-world settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google