Transferring Knowledge Distillation for Multilingual Social Event Detection

要約

タイトル：マルチリンガル社会的イベント検出のための知識蒸留の移行

要約：

– 最近のグラフニューラルネットワーク（GNN）は、社会的イベント検出タスクにおいて有望なパフォーマンスを示している。
– しかし、ほとんどの研究は訓練サンプルが豊富な言語の単言語データに焦点を当てており、より一般的なマルチリンガル設定やより話されていない言語には、比較的未開拓の領域が残っています。
– そこで、マルチリンガルデータストリームでイベントを検出するために、クロスリンガルワード埋め込みを組み込んだGNNを提案している。
– これにより、GNNをマルチリンガルデータと一緒に機能させることができる。これには、異なる言語のメッセージをノードと意味のレベルの両方で整列させる構築戦略を示している。
– メッセージ間の関係は、同じであるが異なる言語で参照されるエンティティをマージすることによって確立されます。
– 英語以外のメッセージ表現は、クロスリンガルワード埋め込みを介して英語の意味空間に変換されます。そして、得られたメッセージグラフは、GNNモデルによって一様にエンコードされる。
– トレーニングサンプルが少ない場合、CLKD（クロスリンガル知識蒸留）という新しいクロスリンガル知識蒸留フレームワークを利用して、英語の類似スレッドから学習した先行知識を生かすことにより、話されていない言語を検出します。
– 合成データと実世界のデータセットの両方での実験により、CLKDフレームワークが、マルチリンガルデータとトレーニングサンプルが少ない言語の両方で検出に高い効果を発揮することが示されました。

要約(オリジナル)

Recently published graph neural networks (GNNs) show promising performance at social event detection tasks. However, most studies are oriented toward monolingual data in languages with abundant training samples. This has left the more common multilingual settings and lesser-spoken languages relatively unexplored. Thus, we present a GNN that incorporates cross-lingual word embeddings for detecting events in multilingual data streams. The first exploit is to make the GNN work with multilingual data. For this, we outline a construction strategy that aligns messages in different languages at both the node and semantic levels. Relationships between messages are established by merging entities that are the same but are referred to in different languages. Non-English message representations are converted into English semantic space via the cross-lingual word embeddings. The resulting message graph is then uniformly encoded by a GNN model. In special cases where a lesser-spoken language needs to be detected, a novel cross-lingual knowledge distillation framework, called CLKD, exploits prior knowledge learned from similar threads in English to make up for the paucity of annotated data. Experiments on both synthetic and real-world datasets show the framework to be highly effective at detection in both multilingual data and in languages where training samples are scarce.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI