Conformalised data synthesis

要約

ますます複雑になる深層学習アーキテクチャの急増に伴い、データ合成は、データを大量に消費するモデルの需要に対処するための非常に有望な技術となっています。
ただし、「シンセサイザー」モデルの出力の品質を確実に評価することは、一か八かの分野にとって大きなリスクを伴う未解決の研究課題です。
この課題に対処するために、私たちは、共形予測フレームワークに基づいて信頼性の高い特徴空間領域からデータを生成する独自の合成アルゴリズムを提案します。
私たちは、コアパラメーターの影響の包括的な調査、実践的なアドバイスの詳細な議論、および 5 つのベンチマーク データセットの広範な経験的評価によって、提案されたアルゴリズムをサポートします。
現実世界の遍在する課題に対する私たちのアプローチの多用途性を示すために、サンプル数の少なさ、クラスの不均衡、非分離性など、さまざまな困難な特性に基づいてデータセットが慎重に選択されました。
すべてのトライアルにおいて、自信を持って合成したデータで拡張されたトレーニング セットは、元のセットと少なくとも同等のパフォーマンスを発揮し、多くの場合、深層学習のパフォーマンスが F1 スコアで最大 61 パーセント ポイント大幅に向上しました。

要約(オリジナル)

With the proliferation of increasingly complicated Deep Learning architectures, data synthesis is a highly promising technique to address the demand of data-hungry models. However, reliably assessing the quality of a ‘synthesiser’ model’s output is an open research question with significant associated risks for high-stake domains. To address this challenge, we propose a unique synthesis algorithm that generates data from high-confidence feature space regions based on the Conformal Prediction framework. We support our proposed algorithm with a comprehensive exploration of the core parameter’s influence, an in-depth discussion of practical advice, and an extensive empirical evaluation of five benchmark datasets. To show our approach’s versatility on ubiquitous real-world challenges, the datasets were carefully selected for their variety of difficult characteristics: low sample count, class imbalance, and non-separability. In all trials, training sets extended with our confident synthesised data performed at least as well as the original set and frequently significantly improved Deep Learning performance by up to 61 percentage points F1-score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google