Concept-Oriented Deep Learning with Large Language Models

要約

大規模言語モデル (LLM) は、テキスト生成や AI チャットボットなどの多くの自然言語タスクやアプリケーションでうまく使用されています。
これらは、概念指向深層学習 (CODL) の有望な新技術でもあります。
ただし、前提条件は、LLM が概念を理解し、概念の一貫性を確保することです。
このホワイトペーパーでは、これらについて説明するとともに、テキストからの概念抽出、テキストからの概念グラフ抽出、概念学習などの CODL での LLM の主な使用法について説明します。
人間の知識は、象徴的 (概念的) 知識と身体的 (感覚的) 知識の両方で構成されます。
ただし、テキストのみの LLM は、象徴的な (概念的な) 知識のみを表すことができます。
一方、マルチモーダル LLM は、人間の知識の全範囲 (概念的および感覚) を表現できます。
最も重要なマルチモーダル LLM である視覚言語 LLM の概念理解と、画像からの概念抽出、画像からの概念グラフ抽出、概念学習を含む CODL での主な使用法について説明します。
CODL での LLM の使用はスタンドアロンでも価値がありますが、AI チャットボットなどの LLM アプリケーションの一部として特に価値があります。

要約(オリジナル)

Large Language Models (LLMs) have been successfully used in many natural-language tasks and applications including text generation and AI chatbots. They also are a promising new technology for concept-oriented deep learning (CODL). However, the prerequisite is that LLMs understand concepts and ensure conceptual consistency. We discuss these in this paper, as well as major uses of LLMs for CODL including concept extraction from text, concept graph extraction from text, and concept learning. Human knowledge consists of both symbolic (conceptual) knowledge and embodied (sensory) knowledge. Text-only LLMs, however, can represent only symbolic (conceptual) knowledge. Multimodal LLMs, on the other hand, are capable of representing the full range (conceptual and sensory) of human knowledge. We discuss conceptual understanding in visual-language LLMs, the most important multimodal LLMs, and major uses of them for CODL including concept extraction from image, concept graph extraction from image, and concept learning. While uses of LLMs for CODL are valuable standalone, they are particularly valuable as part of LLM applications such as AI chatbots.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google