Scaling Expert Language Models with Unsupervised Domain Discovery

要約

通常、大規模な言語モデルは密にトレーニングされます。すべての入力に関してすべてのパラメーターが更新されます。
これには、数千の GPU にわたる数十億のパラメーターの同期が必要です。
任意のテキスト コーパスで大規模なスパース言語モデルを非同期的にトレーニングするためのシンプルだが効果的な方法を紹介します。
私たちの方法は、コーパスを関連するドキュメントのセットにクラスター化し、各クラスターで個別のエキスパート言語モデルをトレーニングし、推論のためにそれらをまばらなアンサンブルに結合します。
このアプローチは、各専門家のドメインを自動的に検出することで、途方もなく並列トレーニングを一般化し、既存のスパース言語モデルのほぼすべての通信オーバーヘッドを排除します。
私たちの手法は、複数のコーパスと少数のショットのタスクで高密度のベースラインよりも優れており、私たちの分析は、専門家を意味のあるクラスターに特化させることがこれらの利益の鍵であることを示しています.
専門家の数とトレーニング データのサイズに応じてパフォーマンスも向上します。これは、大規模な言語モデルをトレーニングするための非常に効率的でアクセスしやすいアプローチであることを示唆しています。

要約(オリジナル)

Large language models are typically trained densely: all parameters are updated with respect to all inputs. This requires synchronization of billions of parameters across thousands of GPUs. We introduce a simple but effective method to asynchronously train large, sparse language models on arbitrary text corpora. Our method clusters a corpus into sets of related documents, trains a separate expert language model on each cluster, and combines them in a sparse ensemble for inference. This approach generalizes embarrassingly parallel training by automatically discovering the domains for each expert, and eliminates nearly all the communication overhead of existing sparse language models. Our technique outperforms dense baselines on multiple corpora and few-shot tasks, and our analysis shows that specializing experts to meaningful clusters is key to these gains. Performance also improves with the number of experts and size of training data, suggesting this is a highly efficient and accessible approach to training large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google