On the social bias of speech self-supervised models

要約

自己教師あり学習 (SSL) 音声モデルは、さまざまなタスクで目覚ましいパフォーマンスを達成していますが、偏った結果、特に疎外されたグループに影響を与えるため、重大な懸念が生じています。
社会的バイアスとは、アルゴリズムがトレーニングに使用されるデータに存在する社会的グループ間の異なる特性を潜在的に増幅する現象を指します。
SSL モデルのバイアスは、差別パターンを自動化し、不公平なシステムを強化することにより、不公平を永続させる可能性があります。
この研究により、普及している SSL モデルが誤って偏った関連付けを取得してしまうことが明らかになりました。
私たちは、モデルのアーキテクチャ、サイズ、トレーニング方法などのさまざまな要因が、これらのモデル内の社会的バイアスの伝播にどのように影響するかを調査します。
最後に、正則化手法、特にモデル圧縮による SSL モデルのバイアス除去の有効性を調査します。
私たちの調査結果は、行枝刈りやより広く浅いモデルのトレーニングなどの手法を採用することで、SSL モデル内の社会的偏見を効果的に軽減できることを明らかにしました。

要約(オリジナル)

Self-supervised learning (SSL) speech models have achieved remarkable performance in various tasks, yet the biased outcomes, especially affecting marginalized groups, raise significant concerns. Social bias refers to the phenomenon where algorithms potentially amplify disparate properties between social groups present in the data used for training. Bias in SSL models can perpetuate injustice by automating discriminatory patterns and reinforcing inequitable systems. This work reveals that prevalent SSL models inadvertently acquire biased associations. We probe how various factors, such as model architecture, size, and training methodologies, influence the propagation of social bias within these models. Finally, we explore the efficacy of debiasing SSL models through regularization techniques, specifically via model compression. Our findings reveal that employing techniques such as row-pruning and training wider, shallower models can effectively mitigate social bias within SSL model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google