OmniPred: Language Models as Universal Regressors

要約

実験計画の広範な状況において、回帰は一連のパラメータを与えられたシステムまたはモデルの結果メトリクスを正確に予測するための強力なツールですが、従来は特定のタスクにのみ適用できる手法に限定されてきました。
この論文では、現実世界の多様な実験からの $(x,y)$ 評価データに対する普遍的なエンドツーエンドのリグレッサーとして言語モデルをトレーニングするためのフレームワークである OmniPred を提案します。
世界最大のブラックボックス最適化データベースの 1 つである Google Vizier から取得したデータを使用した広範な実験により、数学的なパラメーターと値のテキスト表現のみを通じて、言語モデルが非常に正確な数値回帰が可能であることが実証され、トレーニングの機会が与えられれば、
複数のタスクにわたって、従来の回帰モデルよりも大幅に優れたパフォーマンスを発揮できます。

要約(オリジナル)

Over the broad landscape of experimental design, regression has been a powerful tool to accurately predict the outcome metrics of a system or model given a set of parameters, but has been traditionally restricted to methods which are only applicable to a specific task. In this paper, we propose OmniPred, a framework for training language models as universal end-to-end regressors over $(x,y)$ evaluation data from diverse real world experiments. Using data sourced from Google Vizier, one of the largest blackbox optimization databases in the world, our extensive experiments demonstrate that through only textual representations of mathematical parameters and values, language models are capable of very precise numerical regression, and if given the opportunity to train over multiple tasks, can significantly outperform traditional regression models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google