Scalable Optimal Margin Distribution Machine

要約

タイトル：Scalable Optimal Margin Distribution Machine
要約：
– Optimal margin Distribution Machine（ODM）は、新しいマージン理論に基づく統計学習フレームワークであり、従来のラージマージンベースの方法よりもより良い汎化性能を示す。
– ただし、他のカーネル方法と同様に計算時間とメモリの普遍的な拡張性の問題がある。
– 本論文では、元のODMトレーニング方法と比較してほぼ10倍のスピードアップを実現できるスケーラブルODMを提案する。
– 非線形カーネルの場合、新しい分布知覚的分割法を提案して、各パーティションでトレーニングされたローカルODMがグローバルなODMに近づいて速く収束するようにする。
– 線形カーネルが適用される場合、通信効率の高いSVRGメソッドを拡張して、トレーニングをさらに加速する。
– 広範な実験的研究により、提案された方法が非常に計算効率が高く、汎化性能が悪化することがほとんどないことが確認された。

要約(オリジナル)

Optimal margin Distribution Machine (ODM) is a newly proposed statistical learning framework rooting in the novel margin theory, which demonstrates better generalization performance than the traditional large margin based counterparts. Nonetheless, it suffers from the ubiquitous scalability problem regarding both computation time and memory as other kernel methods. This paper proposes a scalable ODM, which can achieve nearly ten times speedup compared to the original ODM training method. For nonlinear kernels, we propose a novel distribution-aware partition method to make the local ODM trained on each partition be close and converge fast to the global one. When linear kernel is applied, we extend a communication efficient SVRG method to accelerate the training further. Extensive empirical studies validate that our proposed method is highly computational efficient and almost never worsen the generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI