Model Transferability With Responsive Decision Subjects

要約

人間の戦略的意思決定主体からなる一部の情報源集団に対して正確なアルゴリズム予測変数が与えられた場合、その集団がそれに反応した場合、その予測変数は正確さを維持できるでしょうか?
私たちの設定では、エージェントまたはユーザーは分布 $\cal{D}$ から抽出されたサンプル $(X,Y)$ に対応し、モデル $h$ とその分類結果 $h(X)$ に直面します。
エージェントは $h$ に適応するように $X$ を変更できます。これにより、$(X,Y)$ の分布が変化します。
私たちの定式化は、デプロイされた機械学習モデルが人間のエージェントの影響を受けるアプリケーションによって動機付けられており、最終的には応答性の高いインタラクティブなデータ配布に直面することになります。
利用可能なソース分布 (データ) でトレーニングされたモデルのパフォーマンスが、その誘導ドメインでのパフォーマンスにどのように変換されるかを研究することで、モデルの伝達​​可能性に関する議論を形式化します。
誘発されたドメイン シフトによるパフォーマンス ギャップの上限と、分類器がソース トレーニング分布または誘発されたターゲット分布のいずれかで被らなければならないトレードオフの下限の両方を提供します。
共変量シフトとターゲット シフトを含む 2 つの一般的なドメイン適応設定に対して、さらにインスタンス化された分析を提供します。

要約(オリジナル)

Given an algorithmic predictor that is accurate on some source population consisting of strategic human decision subjects, will it remain accurate if the population respond to it? In our setting, an agent or a user corresponds to a sample $(X,Y)$ drawn from a distribution $\cal{D}$ and will face a model $h$ and its classification result $h(X)$. Agents can modify $X$ to adapt to $h$, which will incur a distribution shift on $(X,Y)$. Our formulation is motivated by applications where the deployed machine learning models are subjected to human agents, and will ultimately face responsive and interactive data distributions. We formalize the discussions of the transferability of a model by studying how the performance of the model trained on the available source distribution (data) would translate to the performance on its induced domain. We provide both upper bounds for the performance gap due to the induced domain shift, as well as lower bounds for the trade-offs that a classifier has to suffer on either the source training distribution or the induced target distribution. We provide further instantiated analysis for two popular domain adaptation settings, including covariate shift and target shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google