Isotropy, Clusters, and Classifiers

要約

埋め込み空間がすべての次元を等しく使うかどうか、つまり等方的かどうかは、最近議論されているところである。埋め込み空間に等方性を強制することについては、賛否両論がある。本論文では、等方性は埋め込み空間に対して、クラスタの存在と両立しない要件を課すことを強調する。我々はこの事実を実証的に示し、文献から得られた過去の結果に光を当てるために用いる。

要約(オリジナル)

Whether embedding spaces use all their dimensions equally, i.e., whether they are isotropic, has been a recent subject of discussion. Evidence has been accrued both for and against enforcing isotropy in embedding spaces. In the present paper, we stress that isotropy imposes requirements on the embedding space that are not compatible with the presence of clusters — which also negatively impacts linear classification objectives. We demonstrate this fact empirically and use it to shed light on previous results from the literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL