Too Good To Be True: performance overestimation in (re)current practices for Human Activity Recognition

要約

現在、Human Activity Recognition (HAR) パイプライン内には、標準的で確立された手順が存在します。
ただし、これらの従来のアプローチの中には、精度の過大評価につながるものもあります。
特に、データ セグメンテーションのスライディング ウィンドウの後に標準的なランダム k 分割相互検証を行うと、偏った結果が生成されます。
以前の文献と現在の研究を分析すると、驚くべきことに、これらが HAR に関する最先端の研究における一般的なアプローチであることがわかりました。
悪影響が見過ごされているこの問題について、科学界の意識を高めることが重要です。
そうしないと、偏った結果が出版されてしまい、正しい偏りのない方法で、より低い精度を報告する論文が出版され、出版が困難になります。
さまざまなタイプのデータセットとさまざまなタイプの分類モデルを使用したいくつかの実験により、問題を明らかにし、手法やデータセットに関係なく問題が持続することを示すことができます。

要約(オリジナル)

Today, there are standard and well established procedures within the Human Activity Recognition (HAR) pipeline. However, some of these conventional approaches lead to accuracy overestimation. In particular, sliding windows for data segmentation followed by standard random k-fold cross validation, produce biased results. An analysis of previous literature and present-day studies, surprisingly, shows that these are common approaches in state-of-the-art studies on HAR. It is important to raise awareness in the scientific community about this problem, whose negative effects are being overlooked. Otherwise, publications of biased results lead to papers that report lower accuracies, with correct unbiased methods, harder to publish. Several experiments with different types of datasets and different types of classification models allow us to exhibit the problem and show it persists independently of the method or dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google