要約
予測アルゴリズムは多くの場合、何らかの損失関数を最適化することによってトレーニングされます。この損失関数には、制約違反に対するペナルティを課すために正則化関数が追加されます。
予想どおり、このような正則化関数を追加すると、目的の最小化関数が変更される可能性があります。
どの正則化子が損失の最小化子を変更するのか、また最小化子が変更される場合、それがどのように変更されるのかは十分に理解されていません。
プロパティの導出を使用して、損失関数と正則化関数の間の結合関係と、特定の問題インスタンスに対する最適な決定を理解するための最初の一歩を踏み出します。
特に、正則化子の追加によって特性が変化する場合の損失と正則化子のペアに必要十分条件を与え、公正な機械学習文献でこの条件基準を満たすいくつかの正則化子を検討します。
私たちは、データ分布の変化と制約の硬さの両方の関数として、アルゴリズムによる意思決定がどのように変化するかを経験的に示します。
要約(オリジナル)
Predictive algorithms are often trained by optimizing some loss function, to which regularization functions are added to impose a penalty for violating constraints. As expected, the addition of such regularization functions can change the minimizer of the objective. It is not well-understood which regularizers change the minimizer of the loss, and, when the minimizer does change, how it changes. We use property elicitation to take first steps towards understanding the joint relationship between the loss and regularization functions and the optimal decision for a given problem instance. In particular, we give a necessary and sufficient condition on loss and regularizer pairs for when a property changes with the addition of the regularizer, and examine some regularizers satisfying this condition standard in the fair machine learning literature. We empirically demonstrate how algorithmic decision-making changes as a function of both data distribution changes and hardness of the constraints.
arxiv情報
著者 | Jessie Finocchiaro |
発行日 | 2023-09-20 14:20:56+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google