Entry Dependent Expert Selection in Distributed Gaussian Processes Using Multilabel Classification

要約

トレーニング プロセスを分散することにより、局所近似により標準のガウス プロセスのコストが削減されます。
アンサンブル手法は、データのさまざまなパーティションでトレーニングされたガウス専門家によるローカル予測を組み合わせます。
アンサンブル手法は、ローカル予測子の完全な多様性を仮定することによってモデルの予測を集約します。
これにより集計が扱いやすくなりますが、この前提は実際には違反されることがよくあります。
アンサンブル手法は、エキスパート間の依存関係を仮定することで一貫した結果を提供しますが、関与するエキスパートの数の 3 倍に相当する高い計算コストがかかります。
エキスパート選択戦略を実装することにより、最終的な集計ステップで使用するエキスパートの数が減り、より効率的になります。
ただし、固定の専門家セットを各新しいデータ ポイントに割り当てる選択アプローチでは、各固有のデータ ポイントの特定のプロパティをエンコードできません。
この文書では、エントリ データ ポイントの特性に基づいた柔軟な専門家選択アプローチを提案します。
この目的を達成するために、エキスパートがラベルを定義し、各エントリ ポイントが一部のエキスパートに割り当てられるマルチラベル分類問題として選択タスクを調査します。
提案されたソリューションの予測品質、効率、漸近特性について詳しく説明します。
私たちは、合成データセットと現実世界のデータセットを使用した広範な数値実験を通じて、この方法の有効性を実証します。

要約(オリジナル)

By distributing the training process, local approximation reduces the cost of the standard Gaussian Process. An ensemble technique combines local predictions from Gaussian experts trained on different partitions of the data. Ensemble methods aggregate models’ predictions by assuming a perfect diversity of local predictors. Although it keeps the aggregation tractable, this assumption is often violated in practice. Even though ensemble methods provide consistent results by assuming dependencies between experts, they have a high computational cost, which is cubic in the number of experts involved. By implementing an expert selection strategy, the final aggregation step uses fewer experts and is more efficient. However, a selection approach that assigns a fixed set of experts to each new data point cannot encode the specific properties of each unique data point. This paper proposes a flexible expert selection approach based on the characteristics of entry data points. To this end, we investigate the selection task as a multi-label classification problem where the experts define labels, and each entry point is assigned to some experts. The proposed solution’s prediction quality, efficiency, and asymptotic properties are discussed in detail. We demonstrate the efficacy of our method through extensive numerical experiments using synthetic and real-world data sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google