A Comparative Evaluation of Quantification Methods

要約

定量化は、目に見えないデータ上のクラスラベルの分布を推定する問題を表します。
また、近年、多種多様な異なるアルゴリズムが提案されている監視された機械学習における研究分野の成長を表しています。
ただし、アルゴリズムの選択をサポートする定量化方法の包括的な経験的比較はまだ利用できません。
この作業では、バイナリとマルチクラスの定量化設定を考慮して、40を超えるデータセットで24の異なる定量化方法の徹底的な経験的パフォーマンス比較を実施することにより、この研究のギャップを埋めます。
単一のアルゴリズムは一般にすべての競合他社を上回ることはありませんが、しきい値選択ベースの中央値スイープとTSMAXメソッド、HDYメソッド、Formanの混合モデル、およびバイナリ設定で最適なフリードマンの方法を含むDYSフレームワークを含む方法のグループを特定します。
マルチクラス設定では、異なる幅広いアルゴリズムのグループが、HDXメソッド、一般化された確率的調整カウント、READMEメソッド、エネルギー距離最小化法、定量化のためのEMアルゴリズム、フリードマンの方法など、良好なパフォーマンスをもたらすことを観察します。
また、基礎となる分類子を調整すると、ほとんどの場合、定量化パフォーマンスに限られた影響しかありません。
より一般的には、マルチクラスの定量化のパフォーマンスは、バイナリ設定で得られた結果よりも劣っていることがわかります。
私たちの結果は、定量化アルゴリズムを適用する予定の開業医を導き、研究者が将来の研究の機会を特定するのに役立ちます。

要約(オリジナル)

Quantification represents the problem of estimating the distribution of class labels on unseen data. It also represents a growing research field in supervised machine learning, for which a large variety of different algorithms has been proposed in recent years. However, a comprehensive empirical comparison of quantification methods that supports algorithm selection is not available yet. In this work, we close this research gap by conducting a thorough empirical performance comparison of 24 different quantification methods on overall more than 40 data sets, considering binary as well as multiclass quantification settings. We observe that no single algorithm generally outperforms all competitors, but identify a group of methods including the threshold selection-based Median Sweep and TSMax methods, the DyS framework including the HDy method, Forman’s mixture model, and Friedman’s method that performs best in the binary setting. For the multiclass setting, we observe that a different, broad group of algorithms yields good performance, including the HDx method, the Generalized Probabilistic Adjusted Count, the readme method, the energy distance minimization method, the EM algorithm for quantification, and Friedman’s method. We also find that tuning the underlying classifiers has in most cases only a limited impact on the quantification performance. More generally, we find that the performance on multiclass quantification is inferior to the results obtained in the binary setting. Our results can guide practitioners who intend to apply quantification algorithms and help researchers to identify opportunities for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google