Explainability and Continual Learning meet Federated Learning at the Network Edge

要約

ワイヤレスネットワークでエッジデバイスがより能力と広範になるにつれて、分散学習のために集合的な計算力を活用することに関心が高まっています。
ただし、ネットワークエッジで学習を最適化するには、特に従来の設定と目的を超えて移動する場合、独自の課題が必要です。
Federated Learning（FL）は、分散モデルトレーニングの重要なパラダイムとして浮上していますが、重大な課題は持続しています。
第一に、既存のアプローチは、予測精度と解釈可能性の間のトレードオフを見落としていることがよくあります。
第二に、彼らは決定できない構造により、バックプロパゲーションベースのトレーニングアルゴリズムに適していないため、意思決定ツリーなどの本質的に説明可能なモデルを統合するのに苦労しています。
最後に、それらは、リソース制限環境での継続的な学習（CL）を通じて、継続的な機械学習（ML）モデル適応の意味のあるメカニズムを欠いています。
この論文では、ワイヤレスで相互接続されたエッジデバイスを使用して、ネットワークエッジで分散学習に出てくる一連の新しい最適化問題への道を開き、重要な課題と将来の方向性を特定します。
具体的には、複雑な予測モデルを使用する際の予測精度と説明可能性とのトレードオフに対処するために、多目的最適化（MOO）を使用する方法について説明します。
次に、本質的に説明可能なツリーベースのモデルを分散学習設定に統合することの意味について説明します。
最後に、CL戦略をFLと効果的に組み合わせて、限られたサイズのバッファーを使用して過去のデータを再訓練用に保存する場合、適応性のある生涯学習をサポートする方法を調査します。
私たちのアプローチは、エッジコンピューティングとインテリジェントサービスの需要に合わせたプライバシーを提供し、適応性があり、信頼できるMLソリューションを設計するための一連のツールセットを提供します。

要約(オリジナル)

As edge devices become more capable and pervasive in wireless networks, there is growing interest in leveraging their collective compute power for distributed learning. However, optimizing learning at the network edge entails unique challenges, particularly when moving beyond conventional settings and objectives. While Federated Learning (FL) has emerged as a key paradigm for distributed model training, critical challenges persist. First, existing approaches often overlook the trade-off between predictive accuracy and interpretability. Second, they struggle to integrate inherently explainable models such as decision trees because their non-differentiable structure makes them not amenable to backpropagation-based training algorithms. Lastly, they lack meaningful mechanisms for continual Machine Learning (ML) model adaptation through Continual Learning (CL) in resource-limited environments. In this paper, we pave the way for a set of novel optimization problems that emerge in distributed learning at the network edge with wirelessly interconnected edge devices, and we identify key challenges and future directions. Specifically, we discuss how Multi-objective optimization (MOO) can be used to address the trade-off between predictive accuracy and explainability when using complex predictive models. Next, we discuss the implications of integrating inherently explainable tree-based models into distributed learning settings. Finally, we investigate how CL strategies can be effectively combined with FL to support adaptive, lifelong learning when limited-size buffers are used to store past data for retraining. Our approach offers a cohesive set of tools for designing privacy-preserving, adaptive, and trustworthy ML solutions tailored to the demands of edge computing and intelligent services.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google