Rethinking Knowledge Transfer in Learning Using Privileged Information

要約

教師あり機械学習では、特権情報 (PI) は、推論時には利用できないが、トレーニング中にはアクセスできる情報です。
特権情報を使用した学習 (LUPI) の研究は、PI で取得した知識を、PI なしで推論を実行できるモデルに転送することを目的としています。
この追加の情報により、結果として得られるモデルがより良くなるはずです。
しかし、PI を使用して知識を伝達する能力を裏付ける決定的な理論的または経験的証拠を見つけることは困難でした。
この論文では、既存の理論分析の基礎となる仮定を批判的に検証し、LUPI が機能するべき状況についての理論的正当性はほとんどないと主張します。
私たちは LUPI 手法を分析し、既存の研究の経験的リスクの明らかな改善が PI から直接生じたものではない可能性があることを明らかにしました。
むしろ、これらの改善は、データセットの異常や、誤って PI に起因するモデル設計の変更に起因することがよくあります。
さまざまなアプリケーション領域に対する私たちの実験では、最先端の LUPI アプローチでは PI からの知識を効果的に伝達できないことがさらに実証されました。
したがって、私たちは実務家がPIと協力する際に​​は、意図しない帰納的バイアスを避けるために注意することを推奨します。

要約(オリジナル)

In supervised machine learning, privileged information (PI) is information that is unavailable at inference, but is accessible during training time. Research on learning using privileged information (LUPI) aims to transfer the knowledge captured in PI onto a model that can perform inference without PI. It seems that this extra bit of information ought to make the resulting model better. However, finding conclusive theoretical or empirical evidence that supports the ability to transfer knowledge using PI has been challenging. In this paper, we critically examine the assumptions underlying existing theoretical analyses and argue that there is little theoretical justification for when LUPI should work. We analyze LUPI methods and reveal that apparent improvements in empirical risk of existing research may not directly result from PI. Instead, these improvements often stem from dataset anomalies or modifications in model design misguidedly attributed to PI. Our experiments for a wide variety of application domains further demonstrate that state-of-the-art LUPI approaches fail to effectively transfer knowledge from PI. Thus, we advocate for practitioners to exercise caution when working with PI to avoid unintended inductive biases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google