Optimizing transformer-based machine translation model for single GPU training: a hyperparameter ablation study

要約

機械翻訳タスクでは、モデルの複雑さとパフォーマンスの関係は線形であると想定されることが多く、パラメーターの数が増加し、その結果、複数の GPU などの計算リソースの需要が増加します。
この仮定を調査するために、この研究では、単一の NVIDIA A100 GPU を利用して、シーケンス間機械翻訳パイプラインのアブレーションによるハイパーパラメーターの効果を系統的に調査しています。
予想に反して、私たちの実験では、最も多くのパラメーターを備えた組み合わせが必ずしも最も効果的であるわけではないことが明らかになりました。
この予期せぬ洞察により、パラメータ サイズを慎重に削減することになり、翻訳品質を損なうことなく単一の GPU で洗練されたモデルをトレーニングできる「スイート スポット」が明らかになりました。
この調査結果は、ハイパーパラメーターの選択、モデルのサイズ、計算リソースのニーズ間の複雑な関係を示しています。
この研究からの洞察は、機械翻訳をより利用しやすく、コスト効率を高めるための継続的な取り組みに貢献し、単なるスケーリングよりも正確なハイパーパラメータ調整の重要性を強調しています。

要約(オリジナル)

In machine translation tasks, the relationship between model complexity and performance is often presumed to be linear, driving an increase in the number of parameters and consequent demands for computational resources like multiple GPUs. To explore this assumption, this study systematically investigates the effects of hyperparameters through ablation on a sequence-to-sequence machine translation pipeline, utilizing a single NVIDIA A100 GPU. Contrary to expectations, our experiments reveal that combinations with the most parameters were not necessarily the most effective. This unexpected insight prompted a careful reduction in parameter sizes, uncovering ‘sweet spots’ that enable training sophisticated models on a single GPU without compromising translation quality. The findings demonstrate an intricate relationship between hyperparameter selection, model size, and computational resource needs. The insights from this study contribute to the ongoing efforts to make machine translation more accessible and cost-effective, emphasizing the importance of precise hyperparameter tuning over mere scaling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google