Learning Dynamic Contextualised Word Embeddings via Template-based Temporal Adaptation

要約

動的文脈化単語埋め込み (DCWE) は、単語の時間的な意味論的変化を表します。
時間に依存するテンプレートを使用して、事前トレーニングされたマスク言語モデル (MLM) を時間適応させることによって DCWE を学習する方法を提案します。
2 つの異なるタイムスタンプ $T_1$ と $T_2$ でそれぞれ取得されたコーパスの 2 つのスナップショット $C_1$ と $C_2$ が与えられると、まず、両方の $C_1$ に関連する (a) \emph{pivot} 用語を選択する教師なしの方法を提案します。
$C_2$、および (b) 個々のスナップショットの特定のピボット用語に関連付けられた \emph{anchor} 用語。
次に、抽出したピボット用語とアンカー用語を使用して手動でコンパイルしたテンプレートを入力することにより、プロンプトを生成します。
さらに、人間の監督を必要とせずに、$C_1$ と $C_2$ から時間に敏感なテンプレートを学習する自動方法を提案します。
次に、生成されたプロンプトを使用して微調整することで、事前トレーニングされた MLM を $T_2$ に適合させます。
複数の実験により、私たちの提案方法が $C_2$ のテスト文の複雑さを軽減し、現在の最先端技術を上回るパフォーマンスを示すことが示されています。

要約(オリジナル)

Dynamic contextualised word embeddings (DCWEs) represent the temporal semantic variations of words. We propose a method for learning DCWEs by time-adapting a pretrained Masked Language Model (MLM) using time-sensitive templates. Given two snapshots $C_1$ and $C_2$ of a corpus taken respectively at two distinct timestamps $T_1$ and $T_2$, we first propose an unsupervised method to select (a) \emph{pivot} terms related to both $C_1$ and $C_2$, and (b) \emph{anchor} terms that are associated with a specific pivot term in each individual snapshot. We then generate prompts by filling manually compiled templates using the extracted pivot and anchor terms. Moreover, we propose an automatic method to learn time-sensitive templates from $C_1$ and $C_2$, without requiring any human supervision. Next, we use the generated prompts to adapt a pretrained MLM to $T_2$ by fine-tuning using those prompts. Multiple experiments show that our proposed method reduces the perplexity of test sentences in $C_2$, outperforming the current state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google