Adaptation Speed Analysis for Fairness-aware Causal Models

要約

たとえば、機械翻訳タスクでは、2 つの言語間の双方向翻訳を実現するために、ソース コーパスがターゲット コーパスとしてよく使用されます。これには、逆方向の 2 つのモデルのトレーニングが含まれます。
ドメインの移行に最も早く適応できるのは誰かという問題は、多くの分野で非常に重要です。
具体的には、元の分布 p が未知の介入によって変化し、その結果修正された分布 p* が得られると考えます。
p を p* と調整する場合、p の変数間の因果関係など、いくつかの要因が適応率に影響を与える可能性があります。
ただし、現実のシナリオでは、トレーニング プロセスの公平性を考慮する必要があり、原因変数と結果変数の間に存在する敏感な変数 (バイアス) を考慮することが特に重要です。
このシナリオを調査するために、変数 A が原因 (X) と結果 (Y) の間の敏感な変数として機能する、原因-バイアス-結果構造を持つ単純な構造因果モデル (SCM) を調べます。
2 つのモデルはそれぞれ、原因バイアス結果 SCM において、一貫した相反する因果方向を示します。
SCM 内の変数に対して未知の介入を実行した後、分析のためにある種のドメイン シフトをシミュレートできます。
次に、4 つのシフト シナリオにわたって 2 つのモデルの適応速度を比較します。
さらに、すべての介入にわたる 2 つのモデルの適応速度間の関係を証明します。

要約(オリジナル)

For example, in machine translation tasks, to achieve bidirectional translation between two languages, the source corpus is often used as the target corpus, which involves the training of two models with opposite directions. The question of which one can adapt most quickly to a domain shift is of significant importance in many fields. Specifically, consider an original distribution p that changes due to an unknown intervention, resulting in a modified distribution p*. In aligning p with p*, several factors can affect the adaptation rate, including the causal dependencies between variables in p. In real-life scenarios, however, we have to consider the fairness of the training process, and it is particularly crucial to involve a sensitive variable (bias) present between a cause and an effect variable. To explore this scenario, we examine a simple structural causal model (SCM) with a cause-bias-effect structure, where variable A acts as a sensitive variable between cause (X) and effect (Y). The two models, respectively, exhibit consistent and contrary cause-effect directions in the cause-bias-effect SCM. After conducting unknown interventions on variables within the SCM, we can simulate some kinds of domain shifts for analysis. We then compare the adaptation speeds of two models across four shift scenarios. Additionally, we prove the connection between the adaptation speeds of the two models across all interventions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google