AutoML in the Age of Large Language Models: Current Challenges, Future Opportunities and Risks

要約

自然言語処理 (NLP) と自動機械学習 (AutoML) の両方の分野は、過去数年にわたって目覚ましい成果を上げてきました。
NLP では、特に大規模言語モデル (LLM) が最近、急速なブレークスルーを繰り返してきました。
私たちは、この 2 つの分野が緊密な統合を通じて互いの境界を根本的に押し広げることができると考えています。
このビジョンを示すために、AutoML と LLM の間の共生関係の可能性を探り、それらがどのように相互に利益をもたらすことができるかを明らかにします。
特に、LLM を使用した AutoML アプローチをさまざまな観点から強化する機会と、AutoML を活用して LLM をさらに改善する際の課題の両方を調査します。
この目的のために、私たちは既存の仕事を調査し、リスクを批判的に評価します。
私たちは、この 2 つの分野の統合には、NLP と AutoML の両方の分野を破壊する可能性があると強く信じています。
考えられる相乗効果だけでなくリスクも強調することで、AutoML と LLM の交差点におけるさらなる探索を促進することを目指しています。

要約(オリジナル)

The fields of both Natural Language Processing (NLP) and Automated Machine Learning (AutoML) have achieved remarkable results over the past years. In NLP, especially Large Language Models (LLMs) have experienced a rapid series of breakthroughs very recently. We envision that the two fields can radically push the boundaries of each other through tight integration. To showcase this vision, we explore the potential of a symbiotic relationship between AutoML and LLMs, shedding light on how they can benefit each other. In particular, we investigate both the opportunities to enhance AutoML approaches with LLMs from different perspectives and the challenges of leveraging AutoML to further improve LLMs. To this end, we survey existing work, and we critically assess risks. We strongly believe that the integration of the two fields has the potential to disrupt both fields, NLP and AutoML. By highlighting conceivable synergies, but also risks, we aim to foster further exploration at the intersection of AutoML and LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google