On Affine Homotopy between Language Encoders

要約

事前トレーニングされた言語エンコーダー (テキストをベクトルとして表す関数) は、多くの NLP タスクに不可欠なコンポーネントです。
私たちは、言語エンコーダー分析における当然の疑問、つまり 2 つのエンコーダーが似ているとは何を意味するのか? という疑問に取り組みます。
私たちは、類似性の忠実な尺度は \emph{intrinsic}、つまりタスクに依存しないものである必要があるが、それでも \emph{extrinsic} 類似性、つまり下流タスクのパフォーマンスについての情報を提供できるものである必要があると主張します。
2 つのエンコーダが \emph{homotopic} である場合、つまり、何らかの変換を通じて整列させることができる場合、それらのエンコーダは類似していると考えるのが一般的です。
この精神に基づいて、私たちは言語エンコーダーの \emph{affine} アライメントの特性と、その外部類似性への影響を研究します。
アフィン位置合わせは基本的に類似性の非対称概念である一方で、依然として外部類似性についての情報を提供することがわかりました。
これを自然言語表現のデータセットで確認します。
アフィン固有類似性は、外部類似性に有用な境界を提供するだけでなく、事前トレーニングされたエンコーダーに対する順序を定義することで、その空間の構造を明らかにし始めることもできます。

要約(オリジナル)

Pre-trained language encoders — functions that represent text as vectors — are an integral component of many NLP tasks. We tackle a natural question in language encoder analysis: What does it mean for two encoders to be similar? We contend that a faithful measure of similarity needs to be \emph{intrinsic}, that is, task-independent, yet still be informative of \emph{extrinsic} similarity — the performance on downstream tasks. It is common to consider two encoders similar if they are \emph{homotopic}, i.e., if they can be aligned through some transformation. In this spirit, we study the properties of \emph{affine} alignment of language encoders and its implications on extrinsic similarity. We find that while affine alignment is fundamentally an asymmetric notion of similarity, it is still informative of extrinsic similarity. We confirm this on datasets of natural language representations. Beyond providing useful bounds on extrinsic similarity, affine intrinsic similarity also allows us to begin uncovering the structure of the space of pre-trained encoders by defining an order over them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google