Constrained Reweighting of Distributions: an Optimal Transport Approach

要約

私たちは通常、重みに関する事前定義された制約を遵守しながら、観測データの経験的分布の重みを最適に調整したバージョンを特定するという問題に遭遇します。
このような制約は、結果として得られる重み調整された経験的分布のモーメント、テールの挙動、形状、モードの数などに対する制限として現れることがよくあります。
この記事では、重みにノンパラメトリックに組み込まれた分布制約を導入し、最大エントロピー原理と最適輸送からのツールを活用する一般的なフレームワークを開発することにより、このような方法論の柔軟性を大幅に強化します。
重要なアイデアは、観察データの最大エントロピー重み調整済み経験的分布が、微妙な逸脱を許容しながら、最適な伝送メトリックに関して事前に指定された確率分布に確実に近づくようにすることです。
このフレームワークの多用途性は、統計タスクの中心となる最適化問題の副次的制約を満たすためにデータの再重み付けが保証される 3 つの異なるアプリケーションのコンテキストで実証されます。すなわち、ポートフォリオ割り当て、複雑な調査のためのセミパラメトリック推論、
機械学習アルゴリズムにおけるアルゴリズムの公平性を確保します。

要約(オリジナル)

We commonly encounter the problem of identifying an optimally weight adjusted version of the empirical distribution of observed data, adhering to predefined constraints on the weights. Such constraints often manifest as restrictions on the moments, tail behaviour, shapes, number of modes, etc., of the resulting weight adjusted empirical distribution. In this article, we substantially enhance the flexibility of such methodology by introducing a nonparametrically imbued distributional constraints on the weights, and developing a general framework leveraging the maximum entropy principle and tools from optimal transport. The key idea is to ensure that the maximum entropy weight adjusted empirical distribution of the observed data is close to a pre-specified probability distribution in terms of the optimal transport metric while allowing for subtle departures. The versatility of the framework is demonstrated in the context of three disparate applications where data re-weighting is warranted to satisfy side constraints on the optimization problem at the heart of the statistical task: namely, portfolio allocation, semi-parametric inference for complex surveys, and ensuring algorithmic fairness in machine learning algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google