Now It Sounds Like You: Learning Personalized Vocabulary On Device

要約

近年、Federated Learning (FL) は、さまざまな自然言語処理 (NLP) タスクを実行する機能において大幅な進歩を示しています。
この作業は、オンデバイス言語モデリングにパーソナライズされた FL を適用することに焦点を当てています。
メモリとレイテンシの制限により、これらのモデルはサブワードのトークン化やビーム検索のデコードの複雑さをサポートできないため、クローズド語彙言語モデルを導入することが決定されました。
ただし、閉鎖語彙モデルは、特定のユーザーに属する語彙外 (OOV) 単語を処理できません。
この問題に対処するために、メモリとレイテンシーへの影響を最小限に抑えながら、OOV カバレッジを改善し、モデルの精度を高める「OOV 拡張」と呼ばれる新しい手法を提案します。
この方法では、中央モデルから効果的に知識を転送し、パーソナライズされた語彙の単語埋め込みを学習する、パーソナライズされた「OOV アダプター」を導入します。
OOV 拡張は、一連の一般的な FL ベンチマークにおいて、標準の FL パーソナライゼーション手法を大幅に上回ります。

要約(オリジナル)

In recent years, Federated Learning (FL) has shown significant advancements in its ability to perform various natural language processing (NLP) tasks. This work focuses on applying personalized FL for on-device language modeling. Due to limitations of memory and latency, these models cannot support the complexity of sub-word tokenization or beam search decoding, resulting in the decision to deploy a closed-vocabulary language model. However, closed-vocabulary models are unable to handle out-of-vocabulary (OOV) words belonging to specific users. To address this issue, We propose a novel technique called ‘OOV expansion’ that improves OOV coverage and increases model accuracy while minimizing the impact on memory and latency. This method introduces a personalized ‘OOV adapter’ that effectively transfers knowledge from a central model and learns word embedding for personalized vocabulary. OOV expansion significantly outperforms standard FL personalization methods on a set of common FL benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google