要約
近年、NLPサービスやTransformerモデルの私的推論に対する関心が高まっている。しかし、既存の二者間プライバシー保護手法は、NLUシナリオのみを考慮しており、翻訳、対話、コード補完のようなテキスト生成のプライベート推論は未解決のままである。また、NLGモデルに移行した場合、既存のプライバシー保護手法は推論速度の点で劣り、学習段階での収束問題に悩まされる。これらの問題に対処するために、我々はTransformerベースの言語モデルのための高速なプライベートテキスト生成フレームワークであるMERGEを提案する。具体的には、MERGEは、埋め込み計算をバイパスするために、出力された隠れ状態を単語埋め込みとして再利用し、前進手順を高速化するために、Transformerモジュールの線形演算を再編成する。これら2つの最適化に基づく広範な実験により、MERGEはシーケンス長512の下で26.5倍のスピードアップを達成し、80%の通信バイトを削減し、既存の最先端モデルに対して最大10倍のスピードアップが可能であることが示された。
要約(オリジナル)
Recent years have seen increasing concerns about the private inference of NLP services and Transformer models. However, existing two-party privacy-preserving methods solely consider NLU scenarios, while the private inference of text generation such as translation, dialogue, and code completion remains unsolved. Besides, while migrated to NLG models, existing privacy-preserving methods perform poorly in terms of inference speed, and suffer from the convergence problem during the training stage. To address these issues, we propose MERGE, a fast private text generation framework for Transformer-based language models. Specifically, MERGE reuse the output hidden state as the word embedding to bypass the embedding computation, and reorganize the linear operations in the Transformer module to accelerate the forward procedure. Based on these two optimizations, extensive experiments show that MERGE can achieve a 26.5x speedup under the sequence length 512, and reduce 80\% communication bytes, with an up to 10x speedup to existing state-of-art models.
arxiv情報
| 著者 | Zi Liang,Pinghui Wang,Ruofei Zhang,Lifeng Xing,Nuo Xu,Shuo Zhang |
| 発行日 | 2023-07-02 11:56:55+00:00 |
| arxivサイト | arxiv_id(pdf) |