What can we Learn by Predicting Accuracy?

要約

このホワイト ペーパーでは、「精度を予測することで何がわかるでしょうか?」という質問に答えようとしています。
実際、分類は機械学習で最も一般的なタスクの 1 つであり、この微分不可能な目的を最大化するために多くの損失関数が開発されています。
損失関数の設計に関する過去の作業は、実験によって検証される前に直感と理論にほとんど導かれていましたが、ここでは逆の方法でこの問題にアプローチすることを提案します。つまり、実験から知識を抽出しようとします。
このデータ駆動型のアプローチは、データから一般法則を発見するために物理学で使用されるアプローチに似ています。
シンボリック回帰法を使用して、線形分類器の精度と高度に相関する数式を自動的に見つけました。
260 を超えるデータセットで発見された式のピアソン相関は 0.96 で、r2 は 0.93 です。
さらに興味深いことに、この式は非常に説明可能であり、損失設計に関するさまざまな以前の論文からの洞察を裏付けています。
この作業が、機械学習理論のより深い理解につながる新しいヒューリスティックの検索において、新しい視点を開くことを願っています。

要約(オリジナル)

This paper seeks to answer the following question: ‘What can we learn by predicting accuracy?’ Indeed, classification is one of the most popular task in machine learning and many loss functions have been developed to maximize this non-differentiable objective. Unlike past work on loss function design, which was mostly guided by intuition and theory before being validated by experimentation, here we propose to approach this problem in the opposite way : we seek to extract knowledge from experiments. This data-driven approach is similar to that used in physics to discover general laws from data. We used a symbolic regression method to automatically find a mathematical expression that is highly correlated with the accuracy of a linear classifier. The formula discovered on more than 260 datasets has a Pearson correlation of 0.96 and a r2 of 0.93. More interestingly, this formula is highly explainable and confirms insights from various previous papers on loss design. We hope this work will open new perspectives in the search for new heuristics leading to a deeper understanding of machine learning theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google