Understanding Privacy Risks of Embeddings Induced by Large Language Models

要約

大規模言語モデル (LLM) は汎用人工知能の初期の兆候を示しますが、幻覚に悩まされています。
これらの幻覚を軽減するための有望な解決策の 1 つは、外部知識を埋め込みとして保存し、LLM の検索拡張生成を支援することです。
ただし、最近の研究では、事前にトレーニングされた言語モデルによってテキスト埋め込みから元のテキストを部分的に再構築できることが実験的に示されているため、このようなソリューションはプライバシーを損なう危険があります。
従来の事前トレーニング済みモデルに対する LLM の大きな利点により、これらの懸念がさらに悪化する可能性があります。
この目的を達成するために、LLM が使用されている場合に、元の知識を再構築し、これらの埋め込みからエンティティ属性を予測することの有効性を調査します。
経験的調査結果は、テキストが配布中か配布外かに関係なく、LLM は事前トレーニングされたモデルの場合よりも 2 つの評価されたタスクの精度を大幅に向上させることを示しています。
これは、LLM がユーザーのプライバシーを危険にさらす可能性が高まっていることを強調しており、LLM の広範な使用による悪影響が浮き彫りになっています。
このリスクを軽減するための予備的な戦略についてさらに説明します。

要約(オリジナル)

Large language models (LLMs) show early signs of artificial general intelligence but struggle with hallucinations. One promising solution to mitigate these hallucinations is to store external knowledge as embeddings, aiding LLMs in retrieval-augmented generation. However, such a solution risks compromising privacy, as recent studies experimentally showed that the original text can be partially reconstructed from text embeddings by pre-trained language models. The significant advantage of LLMs over traditional pre-trained models may exacerbate these concerns. To this end, we investigate the effectiveness of reconstructing original knowledge and predicting entity attributes from these embeddings when LLMs are employed. Empirical findings indicate that LLMs significantly improve the accuracy of two evaluated tasks over those from pre-trained models, regardless of whether the texts are in-distribution or out-of-distribution. This underscores a heightened potential for LLMs to jeopardize user privacy, highlighting the negative consequences of their widespread use. We further discuss preliminary strategies to mitigate this risk.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google