Federated Neuro-Symbolic Learning

要約

ニューロシンボリック学習 (NSL) は、複雑な記号ルール パターンをニューラル ネットワークによって潜在変数分布にモデル化します。これにより、ルール検索スペースが削減され、目に見えないルールが生成されて、下流のタスクのパフォーマンスが向上します。
集中型 NSL 学習には、下流のタスクからデータを直接取得することが含まれますが、これはフェデレーテッド ラーニング (FL) では実現できません。
この制限に対処するために、我々は、このような 1 対 1 の対話型神経記号パラダイムから、FL コミュニケーション媒体として潜在変数を使用する 1 対多の Federated Neuro-Symbolic Learning Framework (FedNSL) に焦点を移します。
NSL 理論の新しい再定式化に基づいて構築された FedNSL は、FL 設定下で適用可能なルール分布に対するシンプルかつ効果的なカルバック・ライブラー (KL) 発散制約を通じて、ルール分布の不均一性を特定し、対処することができます。
さらに理論的には変分期待値最大化 (V-EM) を調整して、ドメイン全体のルール検索スペースを削減します。
これは、分布結合バイレベル最適化を FL に初めて組み込んだものです。
合成データと現実世界のデータの両方に基づく広範な実験により、5 つの最先端の方法と比較した FedNSL の大きな利点が実証されました。
アンバランスな平均トレーニング精度と目に見えない平均テスト精度の点で、最高のベースラインをそれぞれ 17% と 29% 上回っています。

要約(オリジナル)

Neuro-symbolic learning (NSL) models complex symbolic rule patterns into latent variable distributions by neural networks, which reduces rule search space and generates unseen rules to improve downstream task performance. Centralized NSL learning involves directly acquiring data from downstream tasks, which is not feasible for federated learning (FL). To address this limitation, we shift the focus from such a one-to-one interactive neuro-symbolic paradigm to one-to-many Federated Neuro-Symbolic Learning framework (FedNSL) with latent variables as the FL communication medium. Built on the basis of our novel reformulation of the NSL theory, FedNSL is capable of identifying and addressing rule distribution heterogeneity through a simple and effective Kullback-Leibler (KL) divergence constraint on rule distribution applicable under the FL setting. It further theoretically adjusts variational expectation maximization (V-EM) to reduce the rule search space across domains. This is the first incorporation of distribution-coupled bilevel optimization into FL. Extensive experiments based on both synthetic and real-world data demonstrate significant advantages of FedNSL compared to five state-of-the-art methods. It outperforms the best baseline by 17% and 29% in terms of unbalanced average training accuracy and unseen average testing accuracy, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google