Into the Unknown: Self-Learning Large Language Models

要約

我々は、自己学習型LLMの主要な問題である「何を学ぶか」という問題に取り組む。我々は、LLMが自身の幻覚を自己評価することにより、未知の知識を独自に学習することを可能にする自己学習LLMフレームワークを提案する。我々は、モデルにとって未知の原子知識を識別するためのPoint in the Unknown (PiU)と呼ばれる概念と、PiUを自動的に識別するための4つの手法を導入し、現在未知の知識をモデルに吸収することのみに焦点を当てた自己学習ループの作成を容易にする。さらに、LLMの自己学習能力を測る評価指標を開発した。実験の結果、少なくとも3Bのパラメータを持つLLMは、何らかのインストラクショントレーニングを受けた後であれば、自己学習をうまく行うことができることが明らかになった。さらに、自己学習を行ったモデルとそうでないモデルの性能を比較することで、自己学習の有効性を証明した。我々の自己学習コンセプトは、より効率的なLLM更新を可能にし、LLM知識交換の新たな展望を開くものである。

要約(オリジナル)

We address the main problem of self-learning LLM: the question of what to learn. We propose a self-learning LLM framework that enables an LLM to independently learn previously unknown knowledge through self-assessment of their own hallucinations. We introduce a concept called Point in the Unknown (PiU) to identify atomic knowledge unknown to a model, along with four methods for automatic PiUs identification, facilitating the creation of a self-learning loop that focuses exclusively on the absorption of currently unknown knowledge into the model. Additionally, we developed evaluation metrics to gauge an LLM’s self-learning capability. Our experiments revealed that LLMs with at least 3B parameters that have undergone some instruction training would be able to perform self-learning well. We further proved the effectiveness of self-learning by comparing the performance of a model that has undergone self-learning to a model that has not. Our self-learning concept allows more efficient LLM updates and opens new perspectives for LLM knowledge exchange.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL