Preserving Privacy Without Compromising Accuracy: Machine Unlearning for Handwritten Text Recognition

要約

手書きのテキスト認識（HTR）は、ドキュメント分析とデジタル化に不可欠です。
ただし、手書きのデータには、ユニークな手書きスタイルや個人用レキシコンの選択など、ユーザーの識別可能な情報が含まれていることがよくあり、プライバシーを損ない、AIサービスの信頼を侵食できます。
「忘れられる権利」のような法律は、訓練されたモデルから機密情報を抹消できる方法の必要性を強調しています。
Machine Ulearningは、完全な再訓練を必要とせずにモデルから特定のデータを選択的に削除することにより、これに対処します。
しかし、それは頻繁にプライバシーとアカウムのトレードオフに遭遇し、プライバシーを保護することでモデルのパフォーマンスが低下します。
このペーパーでは、剪定とランダムラベルを統合するマルチヘッドトランスベースのHTRモデルのための新しい2段階の未学習戦略を紹介します。
提案された方法では、認識ヘッドの有効性を維持しながら、学生の分類ヘッドをインジケーターとトリガーの両方のトリガーとして使用します。
私たちの知る限り、これはHTRタスク内でのマシンの学習の最初の包括的な調査を表しています。
さらに、メンバーシップ推論攻撃（MIA）を採用して、ユーザーの識別可能な情報を解除することの有効性を評価します。
広範な実験は、私たちのアプローチがモデルの精度を維持しながらプライバシーを効果的に維持し、ドキュメント分析コミュニティの新しい研究方向への道を開いていることを示しています。
私たちのコードは、受け入れられると公開されます。

要約(オリジナル)

Handwritten Text Recognition (HTR) is essential for document analysis and digitization. However, handwritten data often contains user-identifiable information, such as unique handwriting styles and personal lexicon choices, which can compromise privacy and erode trust in AI services. Legislation like the “right to be forgotten” underscores the necessity for methods that can expunge sensitive information from trained models. Machine unlearning addresses this by selectively removing specific data from models without necessitating complete retraining. Yet, it frequently encounters a privacy-accuracy tradeoff, where safeguarding privacy leads to diminished model performance. In this paper, we introduce a novel two-stage unlearning strategy for a multi-head transformer-based HTR model, integrating pruning and random labeling. Our proposed method utilizes a writer classification head both as an indicator and a trigger for unlearning, while maintaining the efficacy of the recognition head. To our knowledge, this represents the first comprehensive exploration of machine unlearning within HTR tasks. We further employ Membership Inference Attacks (MIA) to evaluate the effectiveness of unlearning user-identifiable information. Extensive experiments demonstrate that our approach effectively preserves privacy while maintaining model accuracy, paving the way for new research directions in the document analysis community. Our code will be publicly available upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google