A Comparative Evaluation of Quantification Methods

要約

定量化は、データセット内のクラス分布を予測する問題を表します。
また、教師あり機械学習における研究分野の成長を表しており、近年、多種多様なアルゴリズムが提案されています。
ただし、アルゴリズムの選択をサポートする定量化手法の包括的な経験的比較はまだ利用できません。
この研究では、バイナリおよびマルチクラスの定量化設定を考慮して、全体で 40 以上のデータセットに対して 24 の異なる定量化法の徹底的な実証的パフォーマンス比較を実行することで、この研究ギャップを埋めています。
通常、単一のアルゴリズムがすべての競合他社を上回るパフォーマンスを発揮することはありませんが、しきい値選択ベースのメディアン スイープおよび TSMax メソッド、DyS フレームワーク、およびバイナリ設定で最高のパフォーマンスを発揮するフリードマンメソッドを含むメソッドのグループを特定します。
マルチクラス設定の場合、一般化確率調整カウント、readme メソッド、エネルギー距離最小化メソッド、定量化用の EM アルゴリズム、フリードマンのメソッドなど、異なるグループのアルゴリズムが良好なパフォーマンスを生み出すことが観察されています。
また、基になる分類器を調整しても、ほとんどの場合、定量化のパフォーマンスに限定的な影響しか及ぼさないこともわかりました。
より一般的には、マルチクラス定量化のパフォーマンスはバイナリ設定で得られた結果よりも劣ることがわかります。
私たちの結果は、定量化アルゴリズムを適用しようとする実務家を導き、研究者が将来の研究の機会を特定するのに役立ちます。

要約(オリジナル)

Quantification represents the problem of predicting class distributions in a dataset. It also represents a growing research field in supervised machine learning, for which a large variety of different algorithms has been proposed in recent years. However, a comprehensive empirical comparison of quantification methods that supports algorithm selection is not available yet. In this work, we close this research gap by conducting a thorough empirical performance comparison of 24 different quantification methods on overall more than 40 data sets, considering binary as well as multiclass quantification settings. We observe that no single algorithm generally outperforms all competitors, but identify a group of methods including the threshold selection-based Median Sweep and TSMax methods, the DyS framework, and Friedman’s method that performs best in the binary setting. For the multiclass setting, we observe that a different group of algorithms yields good performance, including the Generalized Probabilistic Adjusted Count, the readme method, the energy distance minimization method, the EM algorithm for quantification, and Friedman’s method. We also find that tuning the underlying classifiers has in most cases only a limited impact on the quantification performance. More generally, we find that the performance on multiclass quantification is inferior to the results obtained in the binary setting. Our results can guide practitioners who intend to apply quantification algorithms and help researchers to identify opportunities for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google