Adjusting Interpretable Dimensions in Embedding Space with Human Judgments

要約

エンベッディング・スペースには、性別、スタイルの形式、あるいはオブジェクトの特性を示す解釈可能な次元が含まれている。これは何度も観察されている。このような解釈可能な次元は、社会科学から神経科学まで、さまざまな研究分野で貴重なツールになりつつある。これらの次元を計算する標準的な方法は、対照的なシード単語を使用し、それらの上の差分ベクトルを計算する。これは単純であるが、必ずしもうまくいくとは限らない。我々は、シードに基づくベクトルと、単語が特定の次元のどこに位置するかという人間の評価によるガイダンスを組み合わせ、大きさや危険性といった対象物の特性と、形式や複雑さといった文体の特性の両方を予測することについて評価する。我々は、特にシードベースの次元がうまく機能しない場合に、著しく優れた性能を持つ解釈可能な次元を得る。

要約(オリジナル)

Embedding spaces contain interpretable dimensions indicating gender, formality in style, or even object properties. This has been observed multiple times. Such interpretable dimensions are becoming valuable tools in different areas of study, from social science to neuroscience. The standard way to compute these dimensions uses contrasting seed words and computes difference vectors over them. This is simple but does not always work well. We combine seed-based vectors with guidance from human ratings of where words fall along a specific dimension, and evaluate on predicting both object properties like size and danger, and the stylistic properties of formality and complexity. We obtain interpretable dimensions with markedly better performance especially in cases where seed-based dimensions do not work well.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL