Isotropy, Clusters, and Classifiers

要約

埋め込み空間がすべての次元を均等に使用するかどうか、つまり等方性であるかどうかは、最近の議論のテーマです。
埋め込み空間における等方性の強制については、賛成派と反対派の両方の証拠が蓄積されています。
本論文では、等方性が埋め込み空間にクラスターの存在と互換性のない要件を課すこと、つまり線形分類の目的にも悪影響を与えることを強調します。
私たちはこの事実を数学的および経験的に実証し、それを文献からの以前の結果に光を当てるために使用します。

要約(オリジナル)

Whether embedding spaces use all their dimensions equally, i.e., whether they are isotropic, has been a recent subject of discussion. Evidence has been accrued both for and against enforcing isotropy in embedding spaces. In the present paper, we stress that isotropy imposes requirements on the embedding space that are not compatible with the presence of clusters — which also negatively impacts linear classification objectives. We demonstrate this fact both mathematically and empirically and use it to shed light on previous results from the literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google