Privacy Assessment on Reconstructed Images: Are Existing Evaluation Metrics Faithful to Human Perception?

要約

PSNR や SSIM などの手動で作成された画質メトリクスは、再構成攻撃下でのモデルのプライバシー リスクを評価するためによく使用されます。
これらの指標に基づいて、元の画像に似ていると判断された再構成画像は、通常、より多くのプライバシー漏洩を示します。
一方、全体的に類似していないと判断された画像は、攻撃に対する堅牢性が高いことを示しています。
ただし、これらの指標が人間の意見を十分に反映しているという保証はなく、モデルのプライバシー漏洩の判断として、より信頼できるものになります。
この論文では、再構成された画像からプライバシー情報に対する人間の認識に対するこれらの手作りの指標の忠実性を包括的に研究します。
自然画像、顔、粒度の細かいクラスに至る 5 つのデータセットに対して、4 つの既存の攻撃手法を使用して、さまざまな分類モデルから画像を再構成し、再構成された画像ごとに複数のヒューマン アノテーターに、この画像が認識可能かどうかを評価するよう依頼します。
私たちの研究では、手作りの指標はプライバシー漏洩に対する人による評価との相関関係が弱いこと、さらにはこれらの指標自体が互いに矛盾することが多いことが明らかになりました。
これらの観察は、コミュニティにおける現在の指標のリスクを示唆しています。
この潜在的なリスクに対処するために、元の画像と再構成された画像の間の意味的類似性を評価するための SemSim と呼ばれる学習ベースの尺度を提案します。
SemSim は、元の画像をアンカーとして、認識可能な再構成画像の 1 つをポジティブ サンプルとして、認識できない画像の 1 つをネガティブ サンプルとして使用して、標準的なトリプレット損失でトレーニングされます。
人間の注釈をトレーニングすることにより、SemSim はセマンティック レベルでのプライバシー漏洩をより深く反映します。
SemSim は既存の指標と比較して人間の判断との相関が大幅に高いことを示します。
さらに、この強い相関関係は、目に見えないデータセット、モデル、攻撃手法にも一般化されます。

要約(オリジナル)

Hand-crafted image quality metrics, such as PSNR and SSIM, are commonly used to evaluate model privacy risk under reconstruction attacks. Under these metrics, reconstructed images that are determined to resemble the original one generally indicate more privacy leakage. Images determined as overall dissimilar, on the other hand, indicate higher robustness against attack. However, there is no guarantee that these metrics well reflect human opinions, which, as a judgement for model privacy leakage, are more trustworthy. In this paper, we comprehensively study the faithfulness of these hand-crafted metrics to human perception of privacy information from the reconstructed images. On 5 datasets ranging from natural images, faces, to fine-grained classes, we use 4 existing attack methods to reconstruct images from many different classification models and, for each reconstructed image, we ask multiple human annotators to assess whether this image is recognizable. Our studies reveal that the hand-crafted metrics only have a weak correlation with the human evaluation of privacy leakage and that even these metrics themselves often contradict each other. These observations suggest risks of current metrics in the community. To address this potential risk, we propose a learning-based measure called SemSim to evaluate the Semantic Similarity between the original and reconstructed images. SemSim is trained with a standard triplet loss, using an original image as an anchor, one of its recognizable reconstructed images as a positive sample, and an unrecognizable one as a negative. By training on human annotations, SemSim exhibits a greater reflection of privacy leakage on the semantic level. We show that SemSim has a significantly higher correlation with human judgment compared with existing metrics. Moreover, this strong correlation generalizes to unseen datasets, models and attack methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google