Why Deep Learning’s Performance Data Are Misleading

要約

タイトル：ディープラーニングのパフォーマンスデータは誤解を招く

要約：
– この論文は、同じAIEE 2023のキーノート講演の補足論文として理論的な論文です。
– 意識的な学習とは対照的に、AIの多くのプロジェクトで「ディープラーニング」と呼ばれる手法が使われ、多くはその性能に驚嘆させられるものでした。
– この論文では、そのようなパフォーマンスデータが2つの不正行為、「データの削除」と「トレーニングセットによるテスト」によって誤解を招いていることを説明しています。
– この論文では、ディープラーニングにおける「データの削除」と「トレーニングセットによるテスト」について説明し、それらがなぜ不正行為であるかを明確にしています。
– 最近、単純な分類法である「閾値を持つ最近傍法（NNWT）」が定義されました。
– 定理が証明され、NNWT法が2つの不正行為を使って検証セットとテストセットの両方でゼロエラーに達することが示されます。
– しかし、このような法則は、本当のテストセットでテストされたディープラーニング法には一般化できず、証明もされていません。
– なぜならば、多くのディープラーニング法で「テストセット」はトレーニング段階の後、選択された時に使用されたためです。
– 多くのディープラーニングプロジェクトで不正行為が実際に行われた証拠は、この論文の範囲を超えています。

要約(オリジナル)

This is a theoretical paper, as a companion paper of the keynote talk at the same conference AIEE 2023. In contrast to conscious learning, many projects in AI have employed so-called ‘deep learning’ many of which seemed to give impressive performance. This paper explains that such performance data are deceptively inflated due to two misconducts: ‘data deletion’ and ‘test on training set’. This paper clarifies ‘data deletion’ and ‘test on training set’ in deep learning and why they are misconducts. A simple classification method is defined, called Nearest Neighbor With Threshold (NNWT). A theorem is established that the NNWT method reaches a zero error on any validation set and any test set using the two misconducts, as long as the test set is in the possession of the author and both the amount of storage space and the time of training are finite but unbounded like with many deep learning methods. However, many deep learning methods, like the NNWT method, are all not generalizable since they have never been tested by a true test set. Why? The so-called ‘test set’ was used in the Post-Selection step of the training stage. The evidence that misconducts actually took place in many deep learning projects is beyond the scope of this paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI