An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification

要約

予測モデルは、不均衡なデータセットを分類するときに偏った予測を生成する可能性があります。
これは、モデルが多数派のクラスを優先する場合に発生し、少数派のクラスを正確に予測する際のパフォーマンスの低下につながります。
この問題に対処するため、バランシングまたはリサンプリング方法は、予測パフォーマンスを向上させるためのモデリング プロセスにおける重要なデータ中心の AI アプローチです。
しかし、近年、これらの方法の機能について議論や疑問が生じています。
特に、モデルの選択において、多くの候補モデルが「羅生門効果」と呼ばれる非常に類似した予測パフォーマンスを示す可能性があり、同じ観測値に対して異なる予測を生成する場合もあります。
予測多重度を考慮せずにこれらのモデルの 1 つを選択すると、サンプルに対して競合するモデルの予測が得られる場合があり、ブラインド選択になる可能性があります。
この論文では、羅生門効果を使用して、予測多重度に対する平衡化手法の影響を検証します。
データ中心 AI における、ほぼ同等の精度のモデルのセットからの盲目的なモデル選択は危険を伴うため、これは非常に重要です。
これは、モデルの選択、検証、説明に重大な問題を引き起こす可能性があります。
この問題に取り組むために、私たちは実際のデータセット実験を実施し、既存のものに加えて新たに提案された指標の不明瞭性であるあいまいさと不一致を使用して、羅生門効果を通じて予測多重度に対する平衡化手法の影響を観察しました。
私たちの調査結果は、バランス手法により予測多重度が増大し、さまざまな結果が得られることを示しました。
責任を持ってモデリングプロセスを実行するために、予測パフォーマンスと予測多重度の間のトレードオフを監視するために、トレーニングデータのバランスを取るときにパフォーマンスゲインプロットの拡張バージョンを使用することを提案しました。

要約(オリジナル)

Predictive models may generate biased predictions when classifying imbalanced datasets. This happens when the model favors the majority class, leading to low performance in accurately predicting the minority class. To address this issue, balancing or resampling methods are critical data-centric AI approaches in the modeling process to improve prediction performance. However, there have been debates and questions about the functionality of these methods in recent years. In particular, many candidate models may exhibit very similar predictive performance, called the Rashomon effect, in model selection, and they may even produce different predictions for the same observations. Selecting one of these models without considering the predictive multiplicity — which is the case of yielding conflicting models’ predictions for any sample — can result in blind selection. In this paper, the impact of balancing methods on predictive multiplicity is examined using the Rashomon effect. It is crucial because the blind model selection in data-centric AI is risky from a set of approximately equally accurate models. This may lead to severe problems in model selection, validation, and explanation. To tackle this matter, we conducted real dataset experiments to observe the impact of balancing methods on predictive multiplicity through the Rashomon effect by using a newly proposed metric obscurity in addition to the existing ones: ambiguity and discrepancy. Our findings showed that balancing methods inflate the predictive multiplicity and yield varying results. To monitor the trade-off between the prediction performance and predictive multiplicity for conducting the modeling process responsibly, we proposed using the extended version of the performance-gain plot when balancing the training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google