Text Embedding Inversion Attacks on Multilingual Language Models

要約

NLP では、テキスト情報を実数の埋め込みとして表現することが標準になっています。
さらに、大規模言語モデル (LLM) に対する世間の関心の高まりに伴い、Embeddings as a Service (EaaS) がビジネス モデルとして急速に注目を集めています。
これには、顕著なセキュリティ リスクがないわけではありません。これまでの研究では、機密データを生成した基礎となるモデルに関する知識がなくても、埋め込みから機密データを再構築できることが実証されています。
ただし、そのような取り組みは英語のみに焦点を当てているため制限されており、他のすべての言語は悪意のある攻撃者による攻撃に対して脆弱なままになっています。
多くの国際企業や多言語企業が EaaS を活用しているため、多言語 LLM セキュリティに関する研究が急務となっています。
この目的を達成するために、この研究では、多言語埋め込み反転の観点から LLM セキュリティを調査します。
具体的には、クロスドメインのシナリオに特に注意を払い、ブラックボックス多言語およびクロス言語反転攻撃の問題を定義します。
私たちの調査結果では、多言語モデルは単言語モデルよりも反転攻撃に対して潜在的に脆弱であることが明らかになりました。
これは、基礎となる言語が事前に知られていない設定で同等の反転パフォーマンスを達成するためのデータ要件が軽減されることに起因します。
私たちの知る限り、この研究は反転攻撃の文脈における多言語性を掘り下げた最初の研究であり、私たちの調査結果は、NLP セキュリティの分野におけるさらなる調査と防御強化の必要性を浮き彫りにしています。

要約(オリジナル)

Representing textual information as real-numbered embeddings has become the norm in NLP. Moreover, with the rise of public interest in large language models (LLMs), Embeddings as a Service (EaaS) has rapidly gained traction as a business model. This is not without outstanding security risks, as previous research has demonstrated that sensitive data can be reconstructed from embeddings, even without knowledge of the underlying model that generated them. However, such work is limited by its sole focus on English, leaving all other languages vulnerable to attacks by malicious actors. %As many international and multilingual companies leverage EaaS, there is an urgent need for research into multilingual LLM security. To this end, this work investigates LLM security from the perspective of multilingual embedding inversion. Concretely, we define the problem of black-box multilingual and cross-lingual inversion attacks, with special attention to a cross-domain scenario. Our findings reveal that multilingual models are potentially more vulnerable to inversion attacks than their monolingual counterparts. This stems from the reduced data requirements for achieving comparable inversion performance in settings where the underlying language is not known a-priori. To our knowledge, this work is the first to delve into multilinguality within the context of inversion attacks, and our findings highlight the need for further investigation and enhanced defenses in the area of NLP Security.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google