A naive aggregation algorithm for improving generalization in a class of learning problems

要約

この短い論文では、専門家のアドバイスを設定した典型的な学習問題に対する素朴な集計アルゴリズムを紹介します。このアルゴリズムでは、一般化を改善するタスク、つまりモデルの検証が、逐次的な意思決定問題として学習プロセスに組み込まれています。
特に、高次元の非線形関数をモデル化するための点推定の学習問題のクラスを検討します。このクラスでは、専門家のグループが、対応する関数に導かれ、小さな加法ノイズ項を持つ離散時間バージョンの勾配システムを使用してパラメータ推定値を更新します。
元のデータセットから取得されたサブサンプル データセット。
ここで、私たちの主な目的は、そのようなアルゴリズムが、最終的に最適なパラメータ推定値につながる、専門家の推定値を集約するために使用される混合分配戦略のセットを連続的に決定する条件を提供することです。つまり、すべての専門家のコンセンサスソリューションとして。
一般化または学習パフォーマンスの向上という点で、個々の専門家の推定よりも優れています。
最後に、この研究の一環として、非線形回帰問題の典型的なケースに対する数値結果をいくつか示します。

要約(オリジナル)

In this brief paper, we present a naive aggregation algorithm for a typical learning problem with expert advice setting, in which the task of improving generalization, i.e., model validation, is embedded in the learning process as a sequential decision-making problem. In particular, we consider a class of learning problem of point estimations for modeling high-dimensional nonlinear functions, where a group of experts update their parameter estimates using the discrete-time version of gradient systems, with small additive noise term, guided by the corresponding subsample datasets obtained from the original dataset. Here, our main objective is to provide conditions under which such an algorithm will sequentially determine a set of mixing distribution strategies used for aggregating the experts’ estimates that ultimately leading to an optimal parameter estimate, i.e., as a consensus solution for all experts, which is better than any individual expert’s estimate in terms of improved generalization or learning performances. Finally, as part of this work, we present some numerical results for a typical case of nonlinear regression problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google