MERGE: Fast Private Text Generation

要約

言語モデルのパラメーターの大幅な増加により、モデルをクラウド サーバーにデプロイするという新しい傾向が生まれ、Transformer ベースのモデルのプライベート推論に対する懸念が高まっています。
ただし、既存の二者間のプライバシー保護技術は、自然言語理解 (NLU) シナリオのみを考慮しています。
翻訳やコード補完などのアプリケーションにとって重要な自然言語生成 (NLG) におけるプライベート推論は、依然として研究が進んでいません。さらに、以前のプライバシー保護技術は、モデルのトレーニング中に収束の問題が発生し、NLG モデルで使用すると推論速度が低下します。
自動回帰世代における時間のかかる操作を無視する。
これらの問題に対処するために、Transformer ベースの言語モデル用の高速プライベート テキスト生成フレームワークを提案します。つまり、MERGE.MERGE は、出力の非表示状態を単語の埋め込みとして再利用して、埋め込み計算をバイパスし、Transformer モジュールの線形演算を再編成して、変換を高速化します。
先の手順。
広範な実験により、MERGE はシーケンス長 512 でバニラ暗号化モデルに対して 26.5 倍の高速化を達成し、通信コストを 80% 削減し、最先端の近似モデルに対して最大 10 倍の高速化を実現することが示されました。

要約(オリジナル)

The drastic increase in language models’ parameters has led to a new trend of deploying models in cloud servers, raising growing concerns about private inference for Transformer-based models. Existing two-party privacy-preserving techniques, however, only take into account natural language understanding (NLU) scenarios. Private inference in natural language generation (NLG), crucial for applications like translation and code completion, remains underexplored.In addition, previous privacy-preserving techniques suffer from convergence issues during model training and exhibit poor inference speed when used with NLG models due to the neglect of time-consuming operations in auto-regressive generations. To address these issues, we propose a fast private text generation framework for Transformer-based language models, namely MERGE.MERGE reuses the output hidden state as the word embedding to bypass the embedding computation and reorganize the linear operations in the Transformer module to accelerate the forward procedure. Extensive experiments show that MERGE achieves a 26.5x speedup to the vanilla encrypted model under the sequence length 512, and reduces 80\% communication cost, with an up to 10x speedup to state-of-the-art approximated models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google