OpenBA-V2: Reaching 77.3% High Compression Ratio with Fast Multi-Stage Pruning

要約

大規模言語モデル (LLM) は、その強力な機能により多くの分野で重要な役割を果たしてきました。しかし、パラメーターの数が膨大なため、導入要件が高く、推論コストが膨大になり、実際の応用が妨げられています。
小規模なモデルをトレーニングすることは、この問題に対処する効果的な方法です。
したがって、元の 15B OpenBA モデルからの多段階圧縮と継続的な事前トレーニングから派生した 3.4B モデルである OpenBA-V2 を紹介します。
OpenBA-V2 は、より多くのデータ、より柔軟なトレーニング目標、およびレイヤー プルーニング、ニューラル プルーニング、語彙プルーニングなどの技術を利用して、最小限のパフォーマンス損失で 77.3\% の圧縮率を達成します。
OpenBA-V2 は、同様のサイズの他のオープンソース モデルと比較して競争力のあるパフォーマンスを示し、常識推論や固有表現認識 (NER) などの下流タスクで 15B OpenBA モデルに近い、または同等の結果を達成します。
OpenBA-V2 は、高度なトレーニング目標とデータ戦略を採用することで、パフォーマンスの損失を最小限に抑えながら LLM をより小さなものに圧縮できることを示しており、これはリソースが限られたシナリオで LLM を展開するのに役立つ可能性があります。

要約(オリジナル)

Large Language Models (LLMs) have played an important role in many fields due to their powerful capabilities.However, their massive number of parameters leads to high deployment requirements and incurs significant inference costs, which impedes their practical applications. Training smaller models is an effective way to address this problem. Therefore, we introduce OpenBA-V2, a 3.4B model derived from multi-stage compression and continual pre-training from the original 15B OpenBA model. OpenBA-V2 utilizes more data, more flexible training objectives, and techniques such as layer pruning, neural pruning, and vocabulary pruning to achieve a compression rate of 77.3\% with minimal performance loss. OpenBA-V2 demonstrates competitive performance compared to other open-source models of similar size, achieving results close to or on par with the 15B OpenBA model in downstream tasks such as common sense reasoning and Named Entity Recognition (NER). OpenBA-V2 illustrates that LLMs can be compressed into smaller ones with minimal performance loss by employing advanced training objectives and data strategies, which may help deploy LLMs in resource-limited scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google