A Survey on Self-Evolution of Large Language Models

要約

大規模言語モデル(LLM)は、様々な分野やインテリジェント・エージェント・アプリケーションにおいて著しく進歩している。しかし、人間や外部のモデル監視から学習する現在のLLMはコストが高く、タスクの複雑さや多様性が増すにつれて性能の低下に直面する可能性がある。この問題に対処するため、LLMがモデル自身によって生成された経験を自律的に獲得し、改良し、学習することを可能にする自己進化アプローチが急速に成長している。人間の経験学習プロセスに着想を得たこの新しいトレーニングパラダイムは、LLMを超知能に向けて拡張する可能性を提供する。本研究では、LLMにおける自己進化アプローチの包括的なサーベイを行う。まず、自己進化の概念的枠組みを提案し、進化のプロセスを、経験の獲得、経験の洗練、更新、評価の4つの段階からなる反復サイクルとして概説する。次に、LLMとLLMベースのエージェントの進化の目的を分類する。最後に、自己進化フレームワークを改善するための既存の課題を指摘し、将来の方向性を提案することで、研究者に自己進化型LLMの開発を迅速に進めるための重要な洞察を提供する。対応するGitHubリポジトリはhttps://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/Awesome-Self-Evolution-of-LLM。

要約(オリジナル)

Large language models (LLMs) have significantly advanced in various fields and intelligent agent applications. However, current LLMs that learn from human or external model supervision are costly and may face performance ceilings as task complexity and diversity increase. To address this issue, self-evolution approaches that enable LLM to autonomously acquire, refine, and learn from experiences generated by the model itself are rapidly growing. This new training paradigm inspired by the human experiential learning process offers the potential to scale LLMs towards superintelligence. In this work, we present a comprehensive survey of self-evolution approaches in LLMs. We first propose a conceptual framework for self-evolution and outline the evolving process as iterative cycles composed of four phases: experience acquisition, experience refinement, updating, and evaluation. Second, we categorize the evolution objectives of LLMs and LLM-based agents; then, we summarize the literature and provide taxonomy and insights for each module. Lastly, we pinpoint existing challenges and propose future directions to improve self-evolution frameworks, equipping researchers with critical insights to fast-track the development of self-evolving LLMs. Our corresponding GitHub repository is available at https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/Awesome-Self-Evolution-of-LLM

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL