Towards Concept-Aware Large Language Models

要約

概念は、学習、推論、コミュニケーションなど、人間のさまざまな認知機能において極めて重要な役割を果たしている。しかし、機械に概念を形成し推論する能力を与える研究はほとんどない。特に、最新の大規模言語モデル（LLM）は、概念ではなくトークンのレベルで動作する。 この研究では、現代のLLMが人間の概念とその構造をどの程度理解できるかを分析する。そして、パイプラインの様々な段階で行われる、概念を考慮したLLMの開発方法について議論する。概念を使ってLLMを事前学習する方法をスケッチし、既存のLLMの出力を使うより単純なアプローチも探る。その単純さにもかかわらず、我々の概念実証は人間の直感によりよく一致し、予測の頑健性を向上させることが示された。これらの予備的な結果は、概念を考慮したLLMの有望性を強調するものである。

要約(オリジナル)

Concepts play a pivotal role in various human cognitive functions, including learning, reasoning and communication. However, there is very little work on endowing machines with the ability to form and reason with concepts. In particular, state-of-the-art large language models (LLMs) work at the level of tokens, not concepts. In this work, we analyze how well contemporary LLMs capture human concepts and their structure. We then discuss ways to develop concept-aware LLMs, taking place at different stages of the pipeline. We sketch a method for pretraining LLMs using concepts, and also explore the simpler approach that uses the output of existing LLMs. Despite its simplicity, our proof-of-concept is shown to better match human intuition, as well as improve the robustness of predictions. These preliminary results underscore the promise of concept-aware LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL