A Survey on Dynamic Neural Networks for Natural Language Processing

要約

大規模な Transformer モデルを効果的にスケーリングすることは、自然言語処理における最近の進歩の主な原動力です。
新たな研究の方向性としての動的ニューラル ネットワークは、入力に基づいて計算パスを動的に調整することにより、計算と時間をサブリニアに増加させてニューラル ネットワークをスケールアップすることができます。
動的ニューラル ネットワークは、事前トレーニング済み言語モデルのパラメーター数の増加に対する有望なソリューションとなる可能性があり、モバイル デバイスで数兆のパラメーターを使用したモデルの事前トレーニングと高速な推論の両方を可能にします。
この調査では、NLP における 3 種類の動的ニューラル ネットワーク (スキミング、専門家の混合、早期終了) の進歩をまとめています。
また、動的ニューラル ネットワークにおける現在の課題と、将来の研究の方向性についても取り上げます。

要約(オリジナル)

Effectively scaling large Transformer models is a main driver of recent advances in natural language processing. Dynamic neural networks, as an emerging research direction, are capable of scaling up neural networks with sub-linear increases in computation and time by dynamically adjusting their computational path based on the input. Dynamic neural networks could be a promising solution to the growing parameter numbers of pretrained language models, allowing both model pretraining with trillions of parameters and faster inference on mobile devices. In this survey, we summarize progress of three types of dynamic neural networks in NLP: skimming, mixture of experts, and early exit. We also highlight current challenges in dynamic neural networks and directions for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google