Extracting Training Data from Document-Based VQA Models

要約

ビジョン言語モデル (VLM) は、ドキュメントベースの視覚的な質問応答 (つまり、画像として提供される入力ドキュメントの内容に関するクエリに応答する) において目覚ましい進歩を遂げました。
この研究では、これらのモデルがトレーニング サンプルの応答を記憶し、関連する視覚情報が削除された場合でも応答を吐き出すことができることを示します。
これには、トレーニング セット内で 1 回繰り返される個人識別情報 (PII) が含まれており、これらのモデルが記憶された機密情報を漏洩する可能性があるため、プライバシー リスクが生じる可能性があることを示しています。
私たちは、管理された実験で情報の抽出可能性を定量的に測定し、それが汎化能力に起因する場合と暗記に起因する場合を区別します。
私たちは、複数の最先端モデルにわたる記憶に影響を与える要因をさらに調査し、経験的に PII の抽出可能性を防ぐ効果的なヒューリスティック対策を提案します。

要約(オリジナル)

Vision-Language Models (VLMs) have made remarkable progress in document-based Visual Question Answering (i.e., responding to queries about the contents of an input document provided as an image). In this work, we show these models can memorize responses for training samples and regurgitate them even when the relevant visual information has been removed. This includes Personal Identifiable Information (PII) repeated once in the training set, indicating these models could divulge memorised sensitive information and therefore pose a privacy risk. We quantitatively measure the extractability of information in controlled experiments and differentiate between cases where it arises from generalization capabilities or from memorization. We further investigate the factors that influence memorization across multiple state-of-the-art models and propose an effective heuristic countermeasure that empirically prevents the extractability of PII.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google