PQLM — Multilingual Decentralized Portable Quantum Language Model for Privacy Protection

要約

悪意のあるエージェントは、慎重に操作することで、事前にトレーニングされた言語モデルでエンコードされた個人情報をリバース エンジニアリングできます。
セキュリティ上の懸念が、量子事前トレーニングの開発の動機となっています。
この作業では、古典的なマシンの下流のタスクに情報を簡単に送信できる、非常に移植性の高い量子言語モデル (PQLM) を提案します。
このフレームワークは、ランダムな変分量子分類器 (VQC) で構築されたクラウド PQLM と、ダウンストリーム アプリケーション用のローカル モデルで構成されています。
単語の埋め込みのみを抽出し、それらを従来のマシンの下流のタスクに効果的に適用することにより、量子モデルのアドホックな移植性を示します。
私たちの PQLM は、本質的な評価 (損失、困惑) と外部評価 (多言語感情分析の精度) の両方の指標で、従来の対応するものと同等のパフォーマンスを示します。
また、モデルの安定性を分析するために、PQLM のパフォーマンスに影響を与える要因についてアブレーション研究を行います。
私たちの仕事は、プライベート データでトレーニングされ、プライバシー保護が保証された状態で公開される可能性のある、ポータブルな量子事前トレーニング済み言語モデルの理論的基盤を確立します。

要約(オリジナル)

With careful manipulation, malicious agents can reverse engineer private information encoded in pre-trained language models. Security concerns motivate the development of quantum pre-training. In this work, we propose a highly Portable Quantum Language Model (PQLM) that can easily transmit information to downstream tasks on classical machines. The framework consists of a cloud PQLM built with random Variational Quantum Classifiers (VQC) and local models for downstream applications. We demonstrate the ad hoc portability of the quantum model by extracting only the word embeddings and effectively applying them to downstream tasks on classical machines. Our PQLM exhibits comparable performance to its classical counterpart on both intrinsic evaluation (loss, perplexity) and extrinsic evaluation (multilingual sentiment analysis accuracy) metrics. We also perform ablation studies on the factors affecting PQLM performance to analyze model stability. Our work establishes a theoretical foundation for a portable quantum pre-trained language model that could be trained on private data and made available for public use with privacy protection guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google