Deep Fusion: Efficient Network Training via Pre-trained Initializations

要約

近年、ディープラーニングは幅広い領域で目覚ましい進歩を遂げており、特に自然言語処理タスクへの影響は顕著です。
LLM のコンテキストでディープ ニューラル ネットワークをトレーニングする場合の課題の 1 つは、大量の計算リソースと時間が必要になることです。
これを軽減するために、ネットワーク拡張アルゴリズムは潜在的なコスト削減を提供しますが、その基礎となるメカニズムはほとんど理解されていません。
この論文では 2 つの注目すべき貢献を紹介します。
まず、小規模ネットワークの事前トレーニングされた初期化を活用したネットワーク トレーニングへの効率的なアプローチである Deep Fusion を紹介します。
次に、トレーニング中のネットワークの成長のダイナミクスを説明するために、後方誤差分析を使用した理論的フレームワークを提案します。
私たちの実験は、Deep Fusion がトレーニング プロセスを加速するだけでなく、計算要件を削減し、さまざまな NLP タスクや T5 モデル サイズで従来のトレーニング方法のパフォーマンスを維持または上回る、実用的で効果的なアプローチであることを示しています。
最後に、Deep Fusion の最適な使用を導く理論的フレームワークを検証し、慎重に最適化されたトレーニング ダイナミクスにより、トレーニング時間とリソース消費の両方が大幅に削減されることを示します。

要約(オリジナル)

In recent years, deep learning has made remarkable progress in a wide range of domains, with a particularly notable impact on natural language processing tasks. One of the challenges associated with training deep neural networks in the context of LLMs is the need for large amounts of computational resources and time. To mitigate this, network growing algorithms offer potential cost savings, but their underlying mechanisms are poorly understood. We present two notable contributions in this paper. First, we present Deep Fusion, an efficient approach to network training that leverages pre-trained initializations of smaller networks. Second, we propose a theoretical framework using backward error analysis to illustrate the dynamics of mid-training network growth. Our experiments show how Deep Fusion is a practical and effective approach that not only accelerates the training process but also reduces computational requirements, maintaining or surpassing traditional training methods’ performance in various NLP tasks and T5 model sizes. Finally, we validate our theoretical framework, which guides the optimal use of Deep Fusion, showing that with carefully optimized training dynamics, it significantly reduces both training time and resource consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google