Interactive Evolution: A Neural-Symbolic Self-Training Framework For Large Language Models

要約

大規模言語モデル (LLM) の優れたパフォーマンスに貢献する主な原動力の 1 つは、位置合わせの微調整に使用される人間による注釈付きの自然言語データの広範な利用可能性です。
このことが研究者らに、人間による注釈への広範な依存を軽減するための自己訓練方法を調査するきっかけを与えました。
ただし、現在の自己トレーニングの成功は、ますます重要になっている神経記号のシナリオではなく、主に自然言語のシナリオで観察されています。
この目的を達成するために、我々は ENVISIONS という名前の環境誘導型神経記号自己訓練フレームワークを提案します。
これは、(1) シンボリック データの不足、および (2) シンボリック言語の処理における LLM の能力の限界という 2 つの主な課題を克服することを目的としています。
3 つの異なるドメインに対して実施された広範な評価により、私たちのアプローチの有効性が実証されました。
さらに、ENVISIONS の成功に貢献した要因を明らかにするために包括的な分析を実施し、それによってこの分野の将来の研究に貴重な洞察を提供しました。
コードは \url{https://github.com/xufangzhi/ENVISIONS} で入手できます。

要約(オリジナル)

One of the primary driving forces contributing to the superior performance of Large Language Models (LLMs) is the extensive availability of human-annotated natural language data, which is used for alignment fine-tuning. This inspired researchers to investigate self-training methods to mitigate the extensive reliance on human annotations. However, the current success of self-training has been primarily observed in natural language scenarios, rather than in the increasingly important neural-symbolic scenarios. To this end, we propose an environment-guided neural-symbolic self-training framework named ENVISIONS. It aims to overcome two main challenges: (1) the scarcity of symbolic data, and (2) the limited proficiency of LLMs in processing symbolic language. Extensive evaluations conducted on three distinct domains demonstrate the effectiveness of our approach. Additionally, we have conducted a comprehensive analysis to uncover the factors contributing to ENVISIONS’s success, thereby offering valuable insights for future research in this area. Code will be available at \url{https://github.com/xufangzhi/ENVISIONS}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google