Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing

要約

Transformer ベースの言語モデルのさまざまな層でどのような種類の言語情報がエンコードされるかという問題は、NLP コミュニティにとって非常に興味深いものです。
しかし、既存の研究は圧倒的に、マスクされたトークンのトレーニングを目的とした単語レベルの表現とエンコーダのみの言語モデルに焦点を当てています。
この論文では、データ点間の適切なタスク固有のペアごとの距離を提供する埋め込み空間の部分空間を見つけることによって文レベルの表現を研究する方法である意味構造プローブの実験を紹介します。
私たちは、意味論的なテキストの類似性と自然言語推論という 2 つのタスクのコンテキストで、さまざまなファミリー (エンコーダーのみ、デコーダーのみ、エンコーダーとデコーダー) および異なるサイズの言語モデルにこの方法を適用します。
モデル ファミリは、パフォーマンスと層のダイナミクスが大幅に異なりますが、結果はモデル サイズにほとんど不変であることがわかりました。

要約(オリジナル)

The question of what kinds of linguistic information are encoded in different layers of Transformer-based language models is of considerable interest for the NLP community. Existing work, however, has overwhelmingly focused on word-level representations and encoder-only language models with the masked-token training objective. In this paper, we present experiments with semantic structural probing, a method for studying sentence-level representations via finding a subspace of the embedding space that provides suitable task-specific pairwise distances between data-points. We apply our method to language models from different families (encoder-only, decoder-only, encoder-decoder) and of different sizes in the context of two tasks, semantic textual similarity and natural-language inference. We find that model families differ substantially in their performance and layer dynamics, but that the results are largely model-size invariant.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google