Decentralized Kernel Ridge Regression Based on Data-dependent Random Feature

要約

ランダム特徴 (RF) は、分散カーネル リッジ回帰 (KRR) におけるノードの一貫性のために広く使用されています。
現在、一貫性は特徴の係数に制約を課すことによって保証されており、異なるノード上のランダムな特徴が同一であることが必要とされています。
ただし、多くのアプリケーションでは、異なるノード上のデータは数や分布によって大きく異なるため、異なる RF を生成する適応的でデータに依存する方法が必要になります。
本質的な困難に取り組むために、私たちは、決定関数に関するコンセンサスを追求する新しい分散型 KRR アルゴリズムを提案します。これにより、優れた柔軟性が可能になり、ノード上のデータが適切に適応されます。
収束は厳密に与えられ、有効性は数値的に検証されます。他の方法と同じ通信コストを維持しながら、各ノードのデータの特性を捕捉することにより、6 つの実世界のデータ全体で平均 25.5% の回帰精度の向上を達成しました。
セット。

要約(オリジナル)

Random feature (RF) has been widely used for node consistency in decentralized kernel ridge regression (KRR). Currently, the consistency is guaranteed by imposing constraints on coefficients of features, necessitating that the random features on different nodes are identical. However, in many applications, data on different nodes varies significantly on the number or distribution, which calls for adaptive and data-dependent methods that generate different RFs. To tackle the essential difficulty, we propose a new decentralized KRR algorithm that pursues consensus on decision functions, which allows great flexibility and well adapts data on nodes. The convergence is rigorously given and the effectiveness is numerically verified: by capturing the characteristics of the data on each node, while maintaining the same communication costs as other methods, we achieved an average regression accuracy improvement of 25.5\% across six real-world data sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google