Language Model Knowledge Distillation for Efficient Question Answering in Spanish

要約

事前トレーニングされたスペイン語モデルの開発における最近の進歩により、質問応答などの多くの自然言語処理 (NLP) タスクが大幅に進歩しました。
ただし、効率的なモデルが存在しないため、リソースに制約のある環境でそのようなモデルを導入する際に障壁が生じます。
したがって、スペイン語用に小規模に抽出されたモデルは拡張性が高いことが証明され、さまざまなタスクやシナリオでのさらなる採用が容易になる可能性があります。
この研究では、スペイン語で効率的に質問に答えるための RoBERTa に基づく圧縮言語モデルである SpainTinyRoBERTa を開発することで、この方向への一歩を踏み出しました。
これを達成するために、大規模なモデルから軽量なモデルへの知識の蒸留を採用し、パフォーマンスの犠牲をごくわずかに抑えながら、計算リソースが限られた領域でもより広範な実装を可能にします。
私たちの実験では、高密度に抽出されたモデルが、推論の速度を大幅に向上させながら、より大きなモデルのパフォーマンスを維持できることがわかりました。
この作業は、さまざまな NLP タスクにわたるスペイン語モデルのモデル圧縮の取り組みに関するさらなる調査と調査の出発点として機能します。

要約(オリジナル)

Recent advances in the development of pre-trained Spanish language models has led to significant progress in many Natural Language Processing (NLP) tasks, such as question answering. However, the lack of efficient models imposes a barrier for the adoption of such models in resource-constrained environments. Therefore, smaller distilled models for the Spanish language could be proven to be highly scalable and facilitate their further adoption on a variety of tasks and scenarios. In this work, we take one step in this direction by developing SpanishTinyRoBERTa, a compressed language model based on RoBERTa for efficient question answering in Spanish. To achieve this, we employ knowledge distillation from a large model onto a lighter model that allows for a wider implementation, even in areas with limited computational resources, whilst attaining negligible performance sacrifice. Our experiments show that the dense distilled model can still preserve the performance of its larger counterpart, while significantly increasing inference speedup. This work serves as a starting point for further research and investigation of model compression efforts for Spanish language models across various NLP tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google