Resilient Constrained Learning

要約

機械学習ソリューションを導入する場合、精度だけでなく、公平性、堅牢性、安全性などの複数の要件を満たす必要があります。
これらの要件は、ペナルティを使用して暗黙的に、またはラグランジュ双対性に基づく制約付き最適化手法を使用して明示的にトレーニング中に課されます。
いずれにせよ、要件の指定は、妥協の存在とデータに関する事前知識が限られているために妨げられます。
さらに、パフォーマンスへの影響は、多くの場合、学習問題を実際に解決することによってのみ評価できます。
この論文では、学習タスクを同時に解決しながら要件を適応させる、制約付き学習アプローチを紹介します。
そのために、緩和によって得られるパフォーマンスの向上と、その緩和にかかるユーザー定義のコストのバランスを取ることによって、目の前のタスクに与える影響を考慮した方法で学習制約を緩和します。
私たちは、このアプローチを、動作を変更することで混乱に適応する生態系を説明するために使用される用語にちなんで、回復力のある制約付き学習と呼んでいます。
このバランスが達成できる条件を示し、それを計算するための実用的なアルゴリズムを導入し、それに対して近似と一般化の保証を導き出します。
複数の潜在的な不変性を伴う画像分類タスクおよび異種連合学習における、この回復力のある学習方法の利点を紹介します。

要約(オリジナル)

When deploying machine learning solutions, they must satisfy multiple requirements beyond accuracy, such as fairness, robustness, or safety. These requirements are imposed during training either implicitly, using penalties, or explicitly, using constrained optimization methods based on Lagrangian duality. Either way, specifying requirements is hindered by the presence of compromises and limited prior knowledge about the data. Furthermore, their impact on performance can often only be evaluated by actually solving the learning problem. This paper presents a constrained learning approach that adapts the requirements while simultaneously solving the learning task. To do so, it relaxes the learning constraints in a way that contemplates how much they affect the task at hand by balancing the performance gains obtained from the relaxation against a user-defined cost of that relaxation. We call this approach resilient constrained learning after the term used to describe ecological systems that adapt to disruptions by modifying their operation. We show conditions under which this balance can be achieved and introduce a practical algorithm to compute it, for which we derive approximation and generalization guarantees. We showcase the advantages of this resilient learning method in image classification tasks involving multiple potential invariances and in heterogeneous federated learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google