Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models

要約

パラメーター共有の事前トレーニング済み言語モデル (PLM) は、リソースに制約のある環境で成功するアプローチとして登場し、パフォーマンスを大幅に犠牲にすることなく、モデルのストレージとメモリのコストを大幅に削減できます。
ただし、パラメータ共有は推論に関連する計算負荷を軽減するものではないため、制限された厳しいレイテンシ要件や計算リソースを特徴とする状況では実用性が損なわれることに注意することが重要です。
ニューラル常微分方程式 (ODE) に基づいて、パラメーター共有 PLM の推論効率を高める簡単な手法を導入します。
さらに、さらに大きな推論の高速化を実現できる完全または部分的に共有されたモデルにつながる、シンプルな事前トレーニング手法を提案します。
実験結果は、自己回帰 PLM と自動エンコーディング PLM の両方に対する私たちの手法の有効性を実証し、リソースに制約のある設定におけるパラメーター共有モデルのより効率的な利用に関する新たな洞察を提供します。

要約(オリジナル)

Parameter-shared pre-trained language models (PLMs) have emerged as a successful approach in resource-constrained environments, enabling substantial reductions in model storage and memory costs without significant performance compromise. However, it is important to note that parameter sharing does not alleviate computational burdens associated with inference, thus impeding its practicality in situations characterized by limited stringent latency requirements or computational resources. Building upon neural ordinary differential equations (ODEs), we introduce a straightforward technique to enhance the inference efficiency of parameter-shared PLMs. Additionally, we propose a simple pre-training technique that leads to fully or partially shared models capable of achieving even greater inference acceleration. The experimental results demonstrate the effectiveness of our methods on both autoregressive and autoencoding PLMs, providing novel insights into more efficient utilization of parameter-shared models in resource-constrained settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google