Gradient-less Federated Gradient Boosting Trees with Learnable Learning Rates

要約

タイトル：学習率を学習可能にする勾配のないフェデレーテッド勾配ブースティングツリー
要約：
– 分散データセットのプライバシーに配慮したデータ処理や、表形式データにおけるeXtreme Gradient Boosting (XGBoost) の堅牢性は、フェデレーテッドラーニング (FL) のコンテキストにおいてXGBoostのトレーニングの必要性を高めている。
– 水平方向のフェデレーテッドXGBoostに対する既存の研究には、勾配の共有に依存するものが多く、これはノードレベルの通信頻度とプライバシーに関する深刻な懸念を引き起こします。
– これらの問題を軽減するために、集約された木のアンサンブルの学習率を学習可能にすることによって、勾配の共有に依存しない革新的な水平フェデレーテッドXGBoostのフレームワークを開発し、プライバシーと通信効率の両方を向上させます。
– さまざまな分類および回帰データセットで詳細な評価を実施し、アプローチが最新の方法と競合するパフォーマンスを実現し、通信ラウンドと通信オーバーヘッドを25倍から700倍に下げることによって効果的に通信効率を向上させることを示しています。

要約(オリジナル)

The privacy-sensitive nature of decentralized datasets and the robustness of eXtreme Gradient Boosting (XGBoost) on tabular data raise the needs to train XGBoost in the context of federated learning (FL). Existing works on federated XGBoost in the horizontal setting rely on the sharing of gradients, which induce per-node level communication frequency and serious privacy concerns. To alleviate these problems, we develop an innovative framework for horizontal federated XGBoost which does not depend on the sharing of gradients and simultaneously boosts privacy and communication efficiency by making the learning rates of the aggregated tree ensembles learnable. We conduct extensive evaluations on various classification and regression datasets, showing our approach achieves performance comparable to the state-of-the-art method and effectively improves communication efficiency by lowering both communication rounds and communication overhead by factors ranging from 25x to 700x.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI