Safe Training with Sensitive In-domain Data: Leveraging Data Fragmentation To Mitigate Linkage Attacks

要約

現在のテキスト生成モデルは、患者の機密情報などの機密情報が含まれる可能性がある実際のデータを使用してトレーニングされています。
特定の条件下では、記憶されているトレーニング データの出力がトリガーされ、機密データが漏洩する可能性があります。
このリスクを軽減するために、フルテキストの代わりにランダムにグループ化されたドメイン固有の短いフレーズの形式で断片化されたデータを共有する、より安全な代替手段を提案します。
したがって、個人を再識別する可能性のあるテキストの断片は、モデルによって 1 つのシーケンスで再現することができないため、リンク攻撃に対する大幅な保護が得られます。
私たちは、意味のある構文チャンクを使用していくつかの最先端の LLM を微調整し、その有用性を探ります。
特に、BERT ベースのモデルを微調整して、2 つの心血管診断を予測します。
私たちの結果は、LLM が事前トレーニングされた知識から恩恵を受け、断片化されたデータで微調整した場合でも、完全なトレーニング データで微調整した場合と同等の分類結果を提供する能力を示しています。

要約(オリジナル)

Current text generation models are trained using real data which can potentially contain sensitive information, such as confidential patient information and the like. Under certain conditions output of the training data which they have memorised can be triggered, exposing sensitive data. To mitigate against this risk we propose a safer alternative which sees fragmented data in the form of domain-specific short phrases randomly grouped together shared instead of full texts. Thus, text fragments that could re-identify an individual cannot be reproduced by the model in one sequence, giving significant protection against linkage attacks. We fine-tune several state-of-the-art LLMs using meaningful syntactic chunks to explore their utility. In particular, we fine-tune BERT-based models to predict two cardiovascular diagnoses. Our results demonstrate the capacity of LLMs to benefit from the pre-trained knowledge and deliver classification results when fine-tuned with fragmented data comparable to fine-tuning with full training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google