Transfer Learning of Surrogate Models via Domain Affine Transformation Across Synthetic and Real-World Benchmarks

要約

サロゲート・モデルは、実世界のプロセスの実行にかかるコストの効率的な代替手段として、頻繁に採用されている。しかし、高品質のサロゲートモデルを構築するためには、多くの場合、大規模なデータ収集が必要となる。この問題に対する解決策は、タスク間に一定の不変性が存在する場合に、新しいタスク用に事前に訓練されたサロゲートモデルを転送することである。本研究では、ターゲット上で評価された限られた量の転送データ点のみを用いて、両者のドメインが未知のアフィン変換によって関連していると仮定する、ソース関数からターゲット関数への非差分サロゲートモデル（例えばランダムフォレスト）の転送に焦点を当てる。これまでの研究では、微分可能なモデル、例えばガウス過程回帰に対してこの課題に取り組むことが試みられており、アフィン変換を調整することで、伝達データに対する経験的損失を最小化する。本論文では、これまでの研究をランダムフォレストに拡張し、広く利用されている人工問題セットであるBlack-Box Optimization Benchmark (BBOB)テストベッドと、4つの実世界の転移学習問題において、その有効性を評価する。その結果、提案手法の実用的な利点、特に複雑な実世界のシナリオに対する代理モデルの学習に必要なデータ量と計算コストの両方を削減できることが明らかになった。

要約(オリジナル)

Surrogate models are frequently employed as efficient substitutes for the costly execution of real-world processes. However, constructing a high-quality surrogate model often demands extensive data acquisition. A solution to this issue is to transfer pre-trained surrogate models for new tasks, provided that certain invariances exist between tasks. This study focuses on transferring non-differentiable surrogate models (e.g., random forests) from a source function to a target function, where we assume their domains are related by an unknown affine transformation, using only a limited amount of transfer data points evaluated on the target. Previous research attempts to tackle this challenge for differentiable models, e.g., Gaussian process regression, which minimizes the empirical loss on the transfer data by tuning the affine transformations. In this paper, we extend the previous work to the random forest and assess its effectiveness on a widely-used artificial problem set – Black-Box Optimization Benchmark (BBOB) testbed, and on four real-world transfer learning problems. The results highlight the significant practical advantages of the proposed method, particularly in reducing both the data requirements and computational costs of training surrogate models for complex real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL