Regularized Multi-output Gaussian Convolution Process with Domain Adaptation

要約

多出力ガウス プロセス (MGP) は、複数の出力をモデル化する転移学習手法としてますます注目を集めています。
MGP は高い柔軟性と汎用性を備えているにもかかわらず、転移学習に適用すると依然として 2 つの重大な課題に直面しています。
1 つ目は負の転送で、出力間に共有情報が存在しない場合に発生します。
2 番目の課題は入力ドメインの不一致です。これは転移学習では一般的に研究されていますが、MGP では調査されていません。
この論文では、これらの課題を克服するために、ドメイン適応を備えた正規化された MGP モデリング フレームワークを提案します。
より具体的には、MGPのスパース共分散行列は、畳み込みプロセスを使用することによって提案されます。この場合、知識伝達に最も有益な出力を適応的に選択するためにペナルティ項が追加されます。
ドメインの不一致に対処するために、一貫性のない特徴を周辺化し、欠落している特徴を拡張して、異なる出力間で入力ドメインを調整するドメイン適応方法が提案されています。
提案された方法の統計的特性は、実用的かつ漸近的にパフォーマンスを保証するために提供されます。
提案されたフレームワークは、包括的なシミュレーション研究やセラミック製造プロセスの 1 つの実際のケーススタディにおける最先端のベンチマークを上回ります。
結果は、負の転送とドメインの不一致の両方に対処する際の私たちの方法の有効性を示しています。

要約(オリジナル)

Multi-output Gaussian process (MGP) has been attracting increasing attention as a transfer learning method to model multiple outputs. Despite its high flexibility and generality, MGP still faces two critical challenges when applied to transfer learning. The first one is negative transfer, which occurs when there exists no shared information among the outputs. The second challenge is the input domain inconsistency, which is commonly studied in transfer learning yet not explored in MGP. In this paper, we propose a regularized MGP modeling framework with domain adaptation to overcome these challenges. More specifically, a sparse covariance matrix of MGP is proposed by using convolution process, where penalization terms are added to adaptively select the most informative outputs for knowledge transfer. To deal with the domain inconsistency, a domain adaptation method is proposed by marginalizing inconsistent features and expanding missing features to align the input domains among different outputs. Statistical properties of the proposed method are provided to guarantee the performance practically and asymptotically. The proposed framework outperforms state-of-the-art benchmarks in comprehensive simulation studies and one real case study of a ceramic manufacturing process. The results demonstrate the effectiveness of our method in dealing with both the negative transfer and the domain inconsistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google