The Garden of Forking Paths: Observing Dynamic Parameters Distribution in Large Language Models

要約

NLP における Transformer アーキテクチャの優れたパフォーマンスの背後にある理由を理解するには、依然として大きな隔たりがあります。
特に未開発の領域には、トレーニング中にパラメータの分布が時間の経過とともにどのように変化するかについてのメカニズムの説明が含まれます。
この研究では、モデルパラメータの統計分布の時間変化、特に分岐効果を観察することは、モデルの品質を理解するのに役立ち、トレーニングコストと評価の労力を削減できる可能性があり、重みのスパース化の有効性の背後にある理由を経験的に示すことができることを提案します。
。

要約(オリジナル)

A substantial gap persists in understanding the reasons behind the exceptional performance of the Transformer architecture in NLP. A particularly unexplored area involves the mechanistic description of how the distribution of parameters evolves over time during training. In this work we suggest that looking at the time evolution of the statistic distribution of model parameters, and specifically at bifurcation effects, can help understanding the model quality, potentially reducing training costs and evaluation efforts and empirically showing the reasons behind the effectiveness of weights sparsification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google