CoRRPUS: Code-based Structured Prompting for Neurosymbolic Story Understanding

要約

すべての NLG/NLU タスクと同様に、ストーリーの生成と理解では、神経象徴的な作業が急増しています。
研究者らは、大規模言語モデル (LLM) には多大な有用性がある一方で、記号的手段で強化することでさらに優れたものにし、ニューラル ネットワークの欠陥を補うことができることを認識しています。
ただし、シンボリック メソッドは、作成に必要な時間と専門知識の点で非常にコストがかかります。
この作業では、Codex などの最先端の Code-LLM を利用して、ストーリーの状態を追跡し、ストーリーの理解を支援するための記号的手法の使用をブートストラップします。
私たちの CoRRPUS システムと抽象化されたプロンプト手順が、最小限の手動エンジニアリングで既存のストーリー理解タスク (bAbI タスク 2 および Re^3) で現在の最先端の構造化 LLM 技術を上回ることができることを示します。
これらのモデルには推論タスクを適切に実行するためのガイダンスが必要であるため、この研究が、LLM の記号表現と特殊なプロンプトの重要性を強調するのに役立つことを願っています。

要約(オリジナル)

Story generation and understanding — as with all NLG/NLU tasks — has seen a surge in neurosymbolic work. Researchers have recognized that, while large language models (LLMs) have tremendous utility, they can be augmented with symbolic means to be even better and to make up for any flaws that the neural networks might have. However, symbolic methods are extremely costly in terms of the amount of time and expertise needed to create them. In this work, we capitalize on state-of-the-art Code-LLMs, such as Codex, to bootstrap the use of symbolic methods for tracking the state of stories and aiding in story understanding. We show that our CoRRPUS system and abstracted prompting procedures can beat current state-of-the-art structured LLM techniques on pre-existing story understanding tasks (bAbI Task 2 and Re^3) with minimal hand engineering. We hope that this work can help highlight the importance of symbolic representations and specialized prompting for LLMs as these models require some guidance for performing reasoning tasks properly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google