The Life Cycle of Knowledge in Big Language Models: A Survey

要約

知識は人工知能において重要な役割を果たします。
最近、事前トレーニング済み言語モデル (PLM) が大成功を収めたことで、言語モデルによる知識の取得、維持、更新、および使用方法について大きな注目が集まっています。
関連する膨大な量の研究にもかかわらず、学習、チューニング、およびアプリケーションのプロセス全体を通じて言語モデル内で知識がどのように循環するかについての統一されたビューがまだ不足しており、現在の進歩と既存の制限の認識との関係をさらに理解することを妨げる可能性があります.
この調査では、PLM の知識のライフ サークルを 5 つの重要な期間に分割し、知識が構築、維持、使用されるときに知識がどのように循環するかを調査することによって、知識ベースのシステムとして PLM を再検討します。
この目的のために、知識ライフサイクルの各期間に関する既存の研究を体系的にレビューし、主な課題と現在の制限を要約し、将来の方向性について議論します。

要約(オリジナル)

Knowledge plays a critical role in artificial intelligence. Recently, the extensive success of pre-trained language models (PLMs) has raised significant attention about how knowledge can be acquired, maintained, updated and used by language models. Despite the enormous amount of related studies, there still lacks a unified view of how knowledge circulates within language models throughout the learning, tuning, and application processes, which may prevent us from further understanding the connections between current progress or realizing existing limitations. In this survey, we revisit PLMs as knowledge-based systems by dividing the life circle of knowledge in PLMs into five critical periods, and investigating how knowledge circulates when it is built, maintained and used. To this end, we systematically review existing studies of each period of the knowledge life cycle, summarize the main challenges and current limitations, and discuss future directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google