Position: Leverage Foundational Models for Black-Box Optimization

要約

間違いなく、大規模言語モデル (LLM) は機械学習の研究領域に驚異的なイノベーションの波を引き起こし、その結果、強化学習、ロボット工学、コンピューター ビジョンなどのさまざまな分野に多大な影響を与えてきました。
それらの導入は急速かつ変革的であり、機械学習研究の分野に大きなパラダイムシフトをもたらしました。
しかし、実験計画の分野は、ブラックボックス最適化に基づいており、LLM と最適化の統合が探究の機を熟した独特の状況を示しているにもかかわらず、そのようなパラダイムシフトの影響をあまり受けていません。
このポジションペーパーでは、シーケンスベースの基礎モデルを中心にブラックボックス最適化の分野を枠組み化し、以前の文献との関係を整理します。
基本的な言語モデルが最適化に革命をもたらす最も有望な方法について説明します。これには、自由形式のテキストにカプセル化された膨大な情報を利用してタスクの理解を強化すること、トランスフォーマーなどの柔軟性の高いシーケンス モデルを利用して優れた最適化戦略を設計すること、パフォーマンス予測を強化することなどが含まれます。
これまで見えなかった検索スペースを超えて。

要約(オリジナル)

Undeniably, Large Language Models (LLMs) have stirred an extraordinary wave of innovation in the machine learning research domain, resulting in substantial impact across diverse fields such as reinforcement learning, robotics, and computer vision. Their incorporation has been rapid and transformative, marking a significant paradigm shift in the field of machine learning research. However, the field of experimental design, grounded on black-box optimization, has been much less affected by such a paradigm shift, even though integrating LLMs with optimization presents a unique landscape ripe for exploration. In this position paper, we frame the field of black-box optimization around sequence-based foundation models and organize their relationship with previous literature. We discuss the most promising ways foundational language models can revolutionize optimization, which include harnessing the vast wealth of information encapsulated in free-form text to enrich task comprehension, utilizing highly flexible sequence models such as Transformers to engineer superior optimization strategies, and enhancing performance prediction over previously unseen search spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google