Sharing is CAIRing: Characterizing Principles and Assessing Properties of Universal Privacy Evaluation for Synthetic Tabular Data

要約

データ共有は、多くの分野、特に医療分野での革新的な進歩に必要不可欠です。
しかし、データを共有する機能は、自然人のプライバシーを保護する規制によって妨げられています。
合成表形式データは、データ共有の問題に対処するための有望なソリューションを提供しますが、本質的にプライバシーは保証されません。
それでも、合成データのプライバシー保護機能を評価するための適切な方法については合意が不足しており、研究全体で結果を比較することが困難になっています。
私たちの知る限り、これは合成表形式データの優れた普遍的なプライバシー評価指標を構成するプロパティを特定する最初の研究です。
このような指標の目的は、研究間での比較を可能にし、技術者以外の関係者でもプライバシーがどのように保護されているかを理解できるようにすることです。
私たちは、指標の評価に関する 4 つの原則、比較可能性、適用可能性、解釈可能性、および代表性 (CAIR) を特定します。
評価指標が CAIR 原則にどの程度準拠しているかを定量化してランク付けするために、1 ～ 4 のスケールを使用してルーブリックを設計します。
4 つのプロパティのそれぞれが 4 つのパラメータでスコア付けされ、合計 16 のディメンションが得られます。
私たちは、他の研究で一般的な指標の選択を評価することにより、CAIR 原則とルーブリックの適用可能性と有用性を研究します。
結果は、既存の指標の長所と短所についての詳細な洞察を提供し、指標をランク付けするだけでなく、潜在的な改善の領域を明らかにします。
私たちは、CAIR の原則によって、どの普遍的なプライバシー評価指標が合成表形式データに適しているかについて、研究者や組織の間で合意が促進されることを期待しています。

要約(オリジナル)

Data sharing is a necessity for innovative progress in many domains, especially in healthcare. However, the ability to share data is hindered by regulations protecting the privacy of natural persons. Synthetic tabular data provide a promising solution to address data sharing difficulties but does not inherently guarantee privacy. Still, there is a lack of agreement on appropriate methods for assessing the privacy-preserving capabilities of synthetic data, making it difficult to compare results across studies. To the best of our knowledge, this is the first work to identify properties that constitute good universal privacy evaluation metrics for synthetic tabular data. The goal of such metrics is to enable comparability across studies and to allow non-technical stakeholders to understand how privacy is protected. We identify four principles for the assessment of metrics: Comparability, Applicability, Interpretability, and Representativeness (CAIR). To quantify and rank the degree to which evaluation metrics conform to the CAIR principles, we design a rubric using a scale of 1-4. Each of the four properties is scored on four parameters, yielding 16 total dimensions. We study the applicability and usefulness of the CAIR principles and rubric by assessing a selection of metrics popular in other studies. The results provide granular insights into the strengths and weaknesses of existing metrics that not only rank the metrics but highlight areas of potential improvements. We expect that the CAIR principles will foster agreement among researchers and organizations on which universal privacy evaluation metrics are appropriate for synthetic tabular data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google