Transfer-Learning Across Datasets with Different Input Dimensions: An Algorithm and Analysis for the Linear Regression Case

要約

新しいセンサーと監視デバイスの開発により、より多くのデータ ソースが機械学習モデルの入力として使用できるようになります。
これらは、一方ではモデルの精度を向上させるのに役立ちます。
しかしその一方で、これらの新しいインプットと過去のデータを組み合わせるのは、まだ十分に詳細に研究されていない課題として残っています。
この研究では、新しいデータと過去のデータを組み合わせる転移学習アルゴリズムを提案します。これは、新しいデータが不足している場合に特に有益です。
私たちはこのアプローチを線形回帰ケースに焦点を当てています。これにより、このアプローチの利点について厳密な理論的研究を行うことができます。
私たちのアプローチが負の転移学習に対して堅牢であることを示し、この結果を実際のデータとシミュレートされたデータで経験的に確認します。

要約(オリジナル)

With the development of new sensors and monitoring devices, more sources of data become available to be used as inputs for machine learning models. These can on the one hand help to improve the accuracy of a model. On the other hand however, combining these new inputs with historical data remains a challenge that has not yet been studied in enough detail. In this work, we propose a transfer-learning algorithm that combines the new and the historical data, that is especially beneficial when the new data is scarce. We focus the approach on the linear regression case, which allows us to conduct a rigorous theoretical study on the benefits of the approach. We show that our approach is robust against negative transfer-learning, and we confirm this result empirically with real and simulated data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google