LESS-VFL: Communication-Efficient Feature Selection for Vertical Federated Learning

要約

タイトル：Vertical Federated Learningのための通信効率の良いFeature Selection方法LESS-VFL

要約：

– LESS-VFLは、垂直分割されたデータを持つ分散システムに対する通信効率の高いFeature Selection方法を提案している。
– サーバーといくつかのパーティがあり、パーティは異なるフィーチャーセットを持つが、サンプルIDスペースを共有している。パーティは予測タスクのためのモデルを協力してトレーニングしたいと考えている。トレーニングの一環として、パーティはシステム内の重要でないフィーチャーを取り除いて汎化性、効率性、説明性を向上させたいと考えている。
– LESS-VFLでは、短いプレトレーニング期間の後、サーバーはパーティモデルから関連する出力を決定するためにグローバルモデルの一部を最適化します。この情報は、通信なしでローカルのFeature Selectionを許可するためにパーティに共有されます。
– LESS-VFLは、モデルトレーニングからスパムフィーチャーを削除することを解析的に証明しています。
– 他のFeature Selection手法の通信コストの一部であるLESS-VFLは、高い精度を実現し、スパムフィーチャーを削除できることを示す幅広い経験的証拠を提供しています。

要約(オリジナル)

We propose LESS-VFL, a communication-efficient feature selection method for distributed systems with vertically partitioned data. We consider a system of a server and several parties with local datasets that share a sample ID space but have different feature sets. The parties wish to collaboratively train a model for a prediction task. As part of the training, the parties wish to remove unimportant features in the system to improve generalization, efficiency, and explainability. In LESS-VFL, after a short pre-training period, the server optimizes its part of the global model to determine the relevant outputs from party models. This information is shared with the parties to then allow local feature selection without communication. We analytically prove that LESS-VFL removes spurious features from model training. We provide extensive empirical evidence that LESS-VFL can achieve high accuracy and remove spurious features at a fraction of the communication cost of other feature selection approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI