Statistical Foundation Behind Machine Learning and Its Impact on Computer Vision

要約

本論文では、統計的学習における一様収束の原理を再考し、それが機械学習の背後にある基盤としてどのように機能しているかを議論し、現在の深層学習アルゴリズムが解決しようとしている本質的な問題について理解を深めることを試みる。機械学習における領域としてコンピュータビジョンを例に挙げ、大規模化するデータを活用して表現学習の事前学習を行う最近の研究動向が、実用上扱いやすい経験損失と、最終的に望まれるが扱いにくい期待損失との間の不一致を減らすことに大きく関わっていることを論じる。さらに、今後の研究の方向性をいくつか提示し、データの継続的な増加を予測し、構造と知識を取り入れた機械学習の頑健性、解釈可能性、推論能力について、より基礎的な研究が必要であることを主張する。

要約(オリジナル)

This paper revisits the principle of uniform convergence in statistical learning, discusses how it acts as the foundation behind machine learning, and attempts to gain a better understanding of the essential problem that current deep learning algorithms are solving. Using computer vision as an example domain in machine learning, the discussion shows that recent research trends in leveraging increasingly large-scale data to perform pre-training for representation learning are largely to reduce the discrepancy between a practically tractable empirical loss and its ultimately desired but intractable expected loss. Furthermore, this paper suggests a few future research directions, predicts the continued increase of data, and argues that more fundamental research is needed on robustness, interpretability, and reasoning capabilities of machine learning by incorporating structure and knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL