Calpric: Inclusive and Fine-grain Labeling of Privacy Policies with Crowdsourcing and Active Learning

要約

プライバシー ポリシーに基づいて正確な深層学習モデルをトレーニングする際の大きな課題は、大規模で包括的なトレーニング データのセットを取得するコストと難しさです。
これらの課題に対処するために、自動テキスト選択とセグメンテーション、アクティブ ラーニング、およびクラウドソースのアノテーターの使用を組み合わせて、プライバシー ポリシーのための大規模でバランスの取れたトレーニング セットを低コストで生成する Calpric を紹介します。
自動化されたテキスト選択とセグメンテーションにより、ラベル付けタスクが簡素化され、Amazon の Mechanical Turk などのクラウドソーシング プラットフォームからのトレーニングを受けていないアノテーターが、法学部の学生などのトレーニングを受けたアノテーターと競争できるようになり、アノテーター間の合意が減り、ラベル付けコストも削減されます。
トレーニングに信頼できるラベルを使用すると、アクティブ ラーニングの使用が可能になります。アクティブ ラーニングでは、より少ないトレーニング サンプルを使用して入力空間を効率的にカバーできるため、コストがさらに削減され、データ セット内のクラスとデータ カテゴリのバランスが改善されます。
これらの技術を組み合わせることで、Calpric は広範囲のデータ カテゴリにわたって正確なモデルを生成し、以前の研究よりも詳細で細かいラベルを提供できるようになりました。
当社のクラウドソーシング プロセスにより、Calpric は、ラベル付きテキスト セグメントあたりおよそ 0.92 ～ 1.71 ドルのコストで、信頼性の高いラベル付きデータを取得できます。
Calpric のトレーニング プロセスでは、9 つ​​のデータ カテゴリにわたる 16,000 個のプライバシー ポリシー テキスト セグメントのラベル付きデータ セットも生成され、バランスの取れたポジティブ サンプルとネガティブ サンプルが含まれます。

要約(オリジナル)

A significant challenge to training accurate deep learning models on privacy policies is the cost and difficulty of obtaining a large and comprehensive set of training data. To address these challenges, we present Calpric , which combines automatic text selection and segmentation, active learning and the use of crowdsourced annotators to generate a large, balanced training set for privacy policies at low cost. Automated text selection and segmentation simplifies the labeling task, enabling untrained annotators from crowdsourcing platforms, like Amazon’s Mechanical Turk, to be competitive with trained annotators, such as law students, and also reduces inter-annotator agreement, which decreases labeling cost. Having reliable labels for training enables the use of active learning, which uses fewer training samples to efficiently cover the input space, further reducing cost and improving class and data category balance in the data set. The combination of these techniques allows Calpric to produce models that are accurate over a wider range of data categories, and provide more detailed, fine-grain labels than previous work. Our crowdsourcing process enables Calpric to attain reliable labeled data at a cost of roughly $0.92-$1.71 per labeled text segment. Calpric ‘s training process also generates a labeled data set of 16K privacy policy text segments across 9 Data categories with balanced positive and negative samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google