BabyHGRN: Exploring RNNs for Sample-Efficient Training of Language Models

要約

この論文では、低リソース言語モデリング シナリオにおけるトランスフォーマー ベースのモデルの競合代替手段としてのリカレント ニューラル ネットワーク (RNN) およびその他の二次二次アーキテクチャの可能性を探ります。
我々は、最近提案された RNN ベースのアーキテクチャである HGRN2 (Qin et al., 2024) を利用し、その有効性をトランスフォーマベースのベースラインや他の二次二次アーキテクチャ (LSTM、xLSTM、Mamba) と比較して評価します。
私たちの実験結果は、BLiMP、EWoK、GLUE、および BEAR ベンチマークでのパフォーマンスで測定したように、HGRN2 言語モデルである BABYHGRN が、チャレンジの 10M ワード トラックと 100M ワード トラックの両方でトランスベースのモデルよりも優れていることを示しています。
さらに、知識の蒸留によるプラスの影響も示します。
私たちの発見は、変圧器アーキテクチャへの一般的な焦点に疑問を投げかけ、特にリソースに制約のある環境において、RNN ベースのモデルの実行可能性を示しています。

要約(オリジナル)

This paper explores the potential of recurrent neural networks (RNNs) and other subquadratic architectures as competitive alternatives to transformer-based models in low-resource language modeling scenarios. We utilize HGRN2 (Qin et al., 2024), a recently proposed RNN-based architecture, and comparatively evaluate its effectiveness against transformer-based baselines and other subquadratic architectures (LSTM, xLSTM, Mamba). Our experimental results show that BABYHGRN, our HGRN2 language model, outperforms transformer-based models in both the 10M and 100M word tracks of the challenge, as measured by their performance on the BLiMP, EWoK, GLUE and BEAR benchmarks. Further, we show the positive impact of knowledge distillation. Our findings challenge the prevailing focus on transformer architectures and indicate the viability of RNN-based models, particularly in resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google