Are there identifiable structural parts in the sentence embedding whole?

要約

トランスフォーマー モデルからの文埋め込みは、多くの言語情報を固定長ベクトルにエンコードします。
私たちは、これらの埋め込みが分離可能な情報の重なり合った層で構成されており、どの特定の種類の情報 (チャンクとその構造的および意味的特性に関する情報など) を検出できるかという仮説を調査します。
既知のチャンク構造を持つ文で構成されるデータセットと 2 つの言語知能データセットを使用し、チャンクとその文法番号、およびそれぞれの意味論的役割の検出に依存する問題を解決し、そのパフォーマンスの分析を通じて、これが当てはまることを示します。
タスクと学習中に構築された内部表現の。

要約(オリジナル)

Sentence embeddings from transformer models encode in a fixed length vector much linguistic information. We explore the hypothesis that these embeddings consist of overlapping layers of information that can be separated, and on which specific types of information — such as information about chunks and their structural and semantic properties — can be detected. We show that this is the case using a dataset consisting of sentences with known chunk structure, and two linguistic intelligence datasets, solving which relies on detecting chunks and their grammatical number, and respectively, their semantic roles, and through analyses of the performance on the tasks and of the internal representations built during learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google