When Analytic Calculus Cracks AdaBoost Code

要約

教師あり学習におけるブースティングの原理には、複数の弱分類器を組み合わせてより強力な分類器を取得することが含まれます。
AdaBoost は、このアプローチの完璧な例であるという評判があります。
この研究では、scikit-learn に実装された (2 つのクラス) AdaBoost プロシージャを分析します。
この論文では、得られる弱分類器の組み合わせは真理値表を使用して明示的に計算できるため、AdaBoost が名ばかりのアルゴリズムであることを示しています。
実際、真理値表を構築する弱分類器を使用したトレーニング セットの論理分析を使用して、分析式を通じて、手順によって取得されたこれらの弱分類器の組み合わせの重みを回復します。
この式ではリスクの最小点が得られないことがわかり、正確な最小点を計算するシステムを提供し、scikit-learn の AdaBoost プロシージャが Freund と Schapire によって記述されたアルゴリズムを実装していないことを確認します。

要約(オリジナル)

The principle of boosting in supervised learning involves combining multiple weak classifiers to obtain a stronger classifier. AdaBoost has the reputation to be a perfect example of this approach. This study analyzes the (two classes) AdaBoost procedure implemented in scikit-learn. This paper shows that AdaBoost is an algorithm in name only, as the resulting combination of weak classifiers can be explicitly calculated using a truth table. Indeed, using a logical analysis of the training set with weak classifiers constructing a truth table, we recover, through an analytical formula, the weights of the combination of these weak classifiers obtained by the procedure. We observe that this formula does not give the point of minimum of the risk, we provide a system to compute the exact point of minimum and we check that the AdaBoost procedure in scikit-learn does not implement the algorithm described by Freund and Schapire.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google