Position Paper: Leveraging Foundational Models for Black-Box Optimization: Benefits, Challenges, and Future Directions

要約

大規模言語モデル（Large Language Models: LLM）は、機械学習研究領域において革新的な波を引き起こし、強化学習、ロボット工学、コンピュータビジョンなどの多様な分野に多大な影響を及ぼしていることは紛れもない事実である。LLMの導入は急速かつ革新的であり、機械学習研究の分野に大きなパラダイムシフトをもたらした。 しかし、ブラックボックス最適化を基礎とする実験デザインの分野では、このようなパラダイムシフトの影響をあまり受けていない。本ポジションペーパーでは、シーケンスベースの基礎モデルを中心にブラックボックス最適化の分野を構成し、過去の文献との関係を整理する。これには、自由形式のテキストに内包される膨大な情報を活用してタスクの理解力を高めること、Transformersのような柔軟性の高いシーケンスモデルを活用して優れた最適化戦略を構築すること、そして、これまで見たことのない探索空間での性能予測を強化することなどが含まれる。

要約(オリジナル)

Undeniably, Large Language Models (LLMs) have stirred an extraordinary wave of innovation in the machine learning research domain, resulting in substantial impact across diverse fields such as reinforcement learning, robotics, and computer vision. Their incorporation has been rapid and transformative, marking a significant paradigm shift in the field of machine learning research. However, the field of experimental design, grounded on black-box optimization, has been much less affected by such a paradigm shift, even though integrating LLMs with optimization presents a unique landscape ripe for exploration. In this position paper, we frame the field of black-box optimization around sequence-based foundation models and organize their relationship with previous literature. We discuss the most promising ways foundational language models can revolutionize optimization, which include harnessing the vast wealth of information encapsulated in free-form text to enrich task comprehension, utilizing highly flexible sequence models such as Transformers to engineer superior optimization strategies, and enhancing performance prediction over previously unseen search spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL