Voices in a Crowd: Searching for Clusters of Unique Perspectives

要約

言語モデルは、トレーニング データに存在する根底にあるバイアスを再現することが示されており、これがデフォルトで大多数の視点となっています。
提案されたソリューションは、アノテーターの意見の相違をモデル化するか、共有メタデータに基づいてアノテーターをグループ化することで少数派の視点を捉えることを目的としていますが、どちらも重大な課題に直面しています。
私たちは、アノテーターのメタデータをエンコードせずにモデルをトレーニングし、アノテーターの動作によって通知される潜在的な埋め込みを抽出し、音声と呼ぶ同様の意見のクラスターを作成するフレームワークを提案します。
結果として得られるクラスターは、内部および外部の定量的メトリクスと、各クラスターが表す声のタイプを特定するための定性分析によって事後的に検証されます。
私たちの結果は、結果として得られるクラスターが十分に堅牢であることによって示されているように、フレームワークの強力な一般化機能を実証しており、同時に 2 つの異なるデータセットを通じて異なる人口統計的要因に基づいて少数派の視点も捉えています。

要約(オリジナル)

Language models have been shown to reproduce underlying biases existing in their training data, which is the majority perspective by default. Proposed solutions aim to capture minority perspectives by either modelling annotator disagreements or grouping annotators based on shared metadata, both of which face significant challenges. We propose a framework that trains models without encoding annotator metadata, extracts latent embeddings informed by annotator behaviour, and creates clusters of similar opinions, that we refer to as voices. Resulting clusters are validated post-hoc via internal and external quantitative metrics, as well a qualitative analysis to identify the type of voice that each cluster represents. Our results demonstrate the strong generalisation capability of our framework, indicated by resulting clusters being adequately robust, while also capturing minority perspectives based on different demographic factors throughout two distinct datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google