Neurosymbolic AI for Enhancing Instructability in Generative AI

要約

生成 AI は、特にラージ言語モデル (LLM) を介して、テキスト、画像、音楽にわたるコンテンツ作成を変革し、プロンプトを通じて指示に従う機能を実証しましたが、これは主に命令チューニングによって促進されました。
命令チューニングは、特定のタスクと対応する命令でフォーマットされたデータセットで LLM をトレーニングする教師あり微調整方法です。
この方法により、提供されたディレクティブを理解して実行するモデルの能力が体系的に強化されます。
これらの進歩にもかかわらず、LLM は、複雑な複数ステップの命令を一貫して解釈し、それを新しいタスクに一般化するという課題に依然として直面しています。これは、現実世界のシナリオでより広範に適用するために不可欠です。
この記事では、なぜ神経象徴 AI が LLM の指導可能性を高めるためのより良い道を提供するのかを探ります。
私たちは、シンボリック タスク プランナーを使用して高レベルの命令を構造化タスクに分解し、ニューラル セマンティック パーサーを使用してこれらのタスクを実行可能なアクションに基礎付けし、ニューロシンボリック エグゼキューターを使用して、状態の明示的な表現を動的に維持しながらこれらのアクションを実装する方法を検討します。
また、神経象徴的アプローチがタスク実行の信頼性とコンテキスト認識を強化し、LLM がより広範囲の指導コンテキストをより正確かつ柔軟に動的に解釈して応答できるようにすることを示すことも目指しています。

要約(オリジナル)

Generative AI, especially via Large Language Models (LLMs), has transformed content creation across text, images, and music, showcasing capabilities in following instructions through prompting, largely facilitated by instruction tuning. Instruction tuning is a supervised fine-tuning method where LLMs are trained on datasets formatted with specific tasks and corresponding instructions. This method systematically enhances the model’s ability to comprehend and execute the provided directives. Despite these advancements, LLMs still face challenges in consistently interpreting complex, multi-step instructions and generalizing them to novel tasks, which are essential for broader applicability in real-world scenarios. This article explores why neurosymbolic AI offers a better path to enhance the instructability of LLMs. We explore the use a symbolic task planner to decompose high-level instructions into structured tasks, a neural semantic parser to ground these tasks into executable actions, and a neuro-symbolic executor to implement these actions while dynamically maintaining an explicit representation of state. We also seek to show that neurosymbolic approach enhances the reliability and context-awareness of task execution, enabling LLMs to dynamically interpret and respond to a wider range of instructional contexts with greater precision and flexibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google