Towards continually learning new languages

要約

ニューラル ネットワークを使用した多言語音声認識は、多くの場合、トレーニング前にすべての言語を使用できるバッチ学習で実装されます。
以前のトレーニング セッションの後に新しい言語を追加する能力は、経済的には有益ですが、主な課題は壊滅的な忘却です。
この作業では、壊滅的な忘却に対抗し、新しい言語の迅速な学習を促進するために、重み分解と弾性重み統合の性質を組み合わせます。
このような組み合わせにより、最初の 10 言語から学習して壊滅的な忘却なしで 26 の言語を達成する実験で、すべての言語を一度に持つことに匹敵する新しい言語のパフォーマンスを達成しながら、壊滅的な忘却を排除することができました。
傷。

要約(オリジナル)

Multilingual speech recognition with neural networks is often implemented with batch-learning, when all of the languages are available before training. An ability to add new languages after the prior training sessions can be economically beneficial, but the main challenge is catastrophic forgetting. In this work, we combine the qualities of weight factorization and elastic weight consolidation in order to counter catastrophic forgetting and facilitate learning new languages quickly. Such combination allowed us to eliminate catastrophic forgetting while still achieving performance for the new languages comparable with having all languages at once, in experiments of learning from an initial 10 languages to achieve 26 languages without catastrophic forgetting and a reasonable performance compared to training all languages from scratch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google