Distributed Gradient Descent for Functional Learning

要約

近年、様々なタイプの分散学習スキームが、大規模なデータ情報を扱う上で強い利点を持つことから、注目されている。情報化時代において、機能データ解析に端を発するビッグデータへの挑戦に立ち向かうため、我々は、再生カーネルヒルベルト空間の枠組みで、多数のローカルマシン（プロセッサ）にまたがる機能データに取り組む新しい分散勾配降下機能学習（DGDFL）アルゴリズムを提案します。積分演算子アプローチに基づき、DGDFLアルゴリズムについて、文献上初めて様々な側面から理論的理解を提供する。DGDFLを理解する上で、まず、シングルマシンモデルに関連するデータベースの勾配降下関数学習（GDFL）アルゴリズムを提案し、包括的に研究している。その結果、関数回帰の先行研究で問題となった正則性指標の飽和境界がなく、穏やかな条件下でDGDFLの信頼度ベースの最適学習率が得られる。さらに、最適な学習率を確保するために、ローカルマシンの最大数の制限を弱める半教師付きDGDFLアプローチを提供する。我々の知る限り、DGDFLは機能学習に対する最初の分散型反復学習アプローチを提供し、機能データ解析の段階を豊かにする。

要約(オリジナル)

In recent years, different types of distributed learning schemes have received increasing attention for their strong advantages in handling large-scale data information. In the information era, to face the big data challenges which stem from functional data analysis very recently, we propose a novel distributed gradient descent functional learning (DGDFL) algorithm to tackle functional data across numerous local machines (processors) in the framework of reproducing kernel Hilbert space. Based on integral operator approaches, we provide the first theoretical understanding of the DGDFL algorithm in many different aspects in the literature. On the way of understanding DGDFL, firstly, a data-based gradient descent functional learning (GDFL) algorithm associated with a single-machine model is proposed and comprehensively studied. Under mild conditions, confidence-based optimal learning rates of DGDFL are obtained without the saturation boundary on the regularity index suffered in previous works in functional regression. We further provide a semi-supervised DGDFL approach to weaken the restriction on the maximal number of local machines to ensure optimal rates. To our best knowledge, the DGDFL provides the first distributed iterative training approach to functional learning and enriches the stage of functional data analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL