Now It Sounds Like You: Learning Personalized Vocabulary On Device

要約

タイトル：デバイス上でパーソナライズされた語彙を学習する：今度はあなたの音に似ている
要約：
– Federated Learning（FL）は、自然言語処理（NLP）の様々なタスクを実行する能力において、近年優れた進歩を見せている。
– この研究では、オンデバイスの言語モデリングにおいて、パーソナルFLを適用することに注目した。
– メモリやレイテンシの制限により、これらのモデルはサブワードトークン化やビームサーチデコーディングの複雑さをサポートできないため、クローズドボキャブラリーランゲージモデルを展開することになった。
– しかし、クローズドボキャブラリーモデルは特定のユーザーのOOV（外れたボキャブラリー）単語に対処できない。
– この問題に対処するために、「OOV拡張」という新しい手法を提案している。この手法は、中央モデルから知識を効果的に転移し、パーソナライズされた語彙の単語埋め込みを学習するパーソナライズされた「OOVアダプター」を導入するものである。
– OOV拡張は、共通のFLベンチマークセット上で、標準的なFLパーソナライゼーション方法よりも優れた性能を発揮する。

要約(オリジナル)

In recent years, Federated Learning (FL) has shown significant advancements in its ability to perform various natural language processing (NLP) tasks. This work focuses on applying personalized FL for on-device language modeling. Due to limitations of memory and latency, these models cannot support the complexity of sub-word tokenization or beam search decoding, resulting in the decision to deploy a closed-vocabulary language model. However, closed-vocabulary models are unable to handle out-of-vocabulary (OOV) words belonging to specific users. To address this issue, We propose a novel technique called ‘OOV expansion’ that improves OOV coverage and increases model accuracy while minimizing the impact on memory and latency. This method introduces a personalized ‘OOV adapter’ that effectively transfers knowledge from a central model and learns word embedding for personalized vocabulary. OOV expansion significantly outperforms standard FL personalization methods on a set of common FL benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI