Towards a World-English Language Model for On-Device Virtual Assistants

要約

仮想アシスタント (VA) のニューラル ネットワーク言語モデル (NNLM) は、一般に言語、地域、場合によってはデバイスに依存するため、スケールとメンテナンスの労力が増加します。
1 つ以上のカテゴリの NNLM を結合することは、スケーラビリティを向上させる 1 つの方法です。
この作業では、英語の地域変種を組み合わせて、オンデバイス VA 用の「世界英語」NNLM を構築します。
特に、既存の実稼働 NNLM で方言固有の特性をモデル化するためのアダプターのボトルネックの適用を調査し、{そして複数の方言のベースラインを強化します}。
アダプター モジュールは、サブネットワーク全体を特殊化するよりも、方言のモデリングにおいてより効果的であることがわかりました。
この洞察に基づいて、実稼働モデルの設計を活用して、単一方言モデルの精度、遅延、メモリの制約を満たす World English NNLM の新しいアーキテクチャを導入します。

要約(オリジナル)

Neural Network Language Models (NNLMs) for Virtual Assistants (VAs) are generally language-, region-, and in some cases, device-dependent, which increases the effort to scale and maintain them. Combining NNLMs for one or more of the categories is one way to improve scalability. In this work, we combine regional variants of English to build a “World English” NNLM for on-device VAs. In particular, we investigate the application of adapter bottlenecks to model dialect-specific characteristics in our existing production NNLMs {and enhance the multi-dialect baselines}. We find that adapter modules are more effective in modeling dialects than specializing entire sub-networks. Based on this insight and leveraging the design of our production models, we introduce a new architecture for World English NNLM that meets the accuracy, latency, and memory constraints of our single-dialect models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google