An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification

要約

予測モデルは、不均衡なデータセットを分類するときに偏った予測を生成する可能性があります。
これは、モデルが多数派のクラスを優先する場合に発生し、少数派のクラスを正確に予測する際のパフォーマンスの低下につながります。
この問題に対処するには、バランシングまたはリサンプリング方法がモデリング プロセスにおける重要な前処理ステップとなります。
しかし、近年、これらの方法の機能についての議論や疑問が生じています。
特に、モデルの選択において、多くの候補モデルが非常に類似した予測パフォーマンスを示す可能性があり、これは羅生門効果と呼ばれます。
予測多重度を考慮せずにそれらの 1 つを選択すると、サンプルに対して競合するモデルの予測が得られる場合があり、別のモデルを使用できなくなる可能性があります。
この研究では、既存の議論に加えて、予測多重度に対する平衡化手法の影響を羅生門効果を通じて検証します。
ほぼ同じ精度のモデルのセットからブラインド モデルを選択するのは危険であるため、これは重要です。
これは、モデルの選択、検証、説明に重大な問題を引き起こす可能性があります。
この問題に取り組むために、私たちは実際のデータセット実験を実施し、羅生門効果を通じて予測多重度に対するバランス手法の影響を観察しました。
私たちの調査結果は、バランス手法により予測多重度が増大し、さまざまな結果が得られることを示しました。
モデリングプロセスを責任を持って実行するために、パフォーマンスと予測多重度の間のトレードオフを監視するために、羅生門効果の拡張パフォーマンスゲインプロットを使用することを提案しました。

要約(オリジナル)

Predictive models may generate biased predictions when classifying imbalanced datasets. This happens when the model favors the majority class, leading to low performance in accurately predicting the minority class. To address this issue, balancing or resampling methods are critical pre-processing steps in the modeling process. However, there have been debates and questioning of the functionality of these methods in recent years. In particular, many candidate models may exhibit very similar predictive performance, which is called the Rashomon effect, in model selection. Selecting one of them without considering predictive multiplicity which is the case of yielding conflicting models’ predictions for any sample may lead to a loss of using another model. In this study, in addition to the existing debates, the impact of balancing methods on predictive multiplicity is examined through the Rashomon effect. It is important because the blind model selection is risky from a set of approximately equally accurate models. This may lead to serious problems in model selection, validation, and explanation. To tackle this matter, we conducted real dataset experiments to observe the impact of balancing methods on predictive multiplicity through the Rashomon effect. Our findings showed that balancing methods inflate the predictive multiplicity, and they yield varying results. To monitor the trade-off between performance and predictive multiplicity for conducting the modeling process responsibly, we proposed using the extended performance-gain plot for the Rashomon effect.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google