Interpretations of Domain Adaptations via Layer Variational Analysis

要約

タイトル：レイヤー変分解析によるドメイン適応の解釈

要約：

– 転移学習は、多くのアプリケーションで実証実験的に効果的であるが、その背後にあるメカニズムに関する文献は限られている。
– 本研究では、レイヤー変分解析を利用したフレームワークを提唱し、ディープラーニングにおける転移学習の理論を形成するための形式的導出とヒューリスティックな解析を行う。
– 我々のフレームワークは、対応するデータ条件があれば転移学習の成功が保証されることを証明し、知識移転プロセスに対する直感的な解釈を与える。
– さらに、ネットワークベースの転移学習の代替方法を導出し、ドメイン適応において効率と精度が向上することを示す。新しいドメインデータが適応時に十分に希薄である場合に特に有利である。
– 多様なタスクにおける数値実験により、我々の理論が検証され、解析式が勾配降下法よりもドメイン適応において良い性能を示したことが確認された。

要約(オリジナル)

Transfer learning is known to perform efficiently in many applications empirically, yet limited literature reports the mechanism behind the scene. This study establishes both formal derivations and heuristic analysis to formulate the theory of transfer learning in deep learning. Our framework utilizing layer variational analysis proves that the success of transfer learning can be guaranteed with corresponding data conditions. Moreover, our theoretical calculation yields intuitive interpretations towards the knowledge transfer process. Subsequently, an alternative method for network-based transfer learning is derived. The method shows an increase in efficiency and accuracy for domain adaptation. It is particularly advantageous when new domain data is sufficiently sparse during adaptation. Numerical experiments over diverse tasks validated our theory and verified that our analytic expression achieved better performance in domain adaptation than the gradient descent method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI