An Online Multiple Kernel Parallelizable Learning Scheme

要約

カーネルを再現するヒルベルト空間ベースの方法のパフォーマンスは、再現するカーネルの選択に影響されることが知られています。
適切に再現するカーネルを選択することは、特にソリューション ドメインに関する事前情報のないデータが豊富なタスクの場合、困難で計算量が多くなる場合があります。
この論文では、カーネル選択のバイアスを軽減するために、複数の単一カーネルベースのオンライン手法をスケーラブルに組み合わせた学習スキームを提案します。
提案された学習スキームは、正則化された経験的リスク最小化凸問題として定式化されたあらゆるタスクに適用されます。
より具体的には、私たちの学習スキームは、単一カーネルのソリューション空間を広げるために適用できるマルチカーネル学習定式化に基づいており、その結果、より高性能なソリューションを見つける可能性が高まります。
さらに、並列化可能であるため、さまざまなコンピューティング ユニット間で計算負荷を分散できます。
提案された学習スキームが、累積正則化最小二乗コスト指標の観点から、単一カーネルのオンライン手法を個別に組み合わせた場合よりも優れていることを実験的に示します。

要約(オリジナル)

The performance of reproducing kernel Hilbert space-based methods is known to be sensitive to the choice of the reproducing kernel. Choosing an adequate reproducing kernel can be challenging and computationally demanding, especially in data-rich tasks without prior information about the solution domain. In this paper, we propose a learning scheme that scalably combines several single kernel-based online methods to reduce the kernel-selection bias. The proposed learning scheme applies to any task formulated as a regularized empirical risk minimization convex problem. More specifically, our learning scheme is based on a multi-kernel learning formulation that can be applied to widen any single-kernel solution space, thus increasing the possibility of finding higher-performance solutions. In addition, it is parallelizable, allowing for the distribution of the computational load across different computing units. We show experimentally that the proposed learning scheme outperforms the combined single-kernel online methods separately in terms of the cumulative regularized least squares cost metric.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google