CoRRPUS: Codex-Leveraged Structured Representations for Neurosymbolic Story Understanding

要約

【タイトル】CoRRPUS：ネューロシンボリックストーリー理解のためのCodexレバレッジド構造表現

【要約】
– 文章の生成や理解などの自然言語処理（NLG/NLU）タスクにおいて、Neurosymbolicな手法を活用した研究が増加している。
– 大規模言語モデル（LLMs）は高度な精度を誇るが、Neural Networkが持つ欠点を補完するためにシンボリック手法を追加することで、さらに優れた性能を発揮できると研究者らは認識している。
– しかし、シンボリック手法は専門的な知識や時間を必要とし、非常にコストがかかる。
– この研究では、Codexのような最新のCode-LLMsを活用し、ストーリーの状態のトラッキングとストーリー理解の支援にシンボリック手法をブートストラップさせる。
– 著者たちはCoRRPUSシステムと抽象化されたプロンプト手順を使用することで、既存のストーリー理解タスク（bAbIタスク2およびRe^3）において、最小限の手動エンジニアリングで、現状最高の構造化LLM技術より高い性能を発揮できることを示した。
– LLMは適切な推論タスクを実行するためのガイダンスが必要であるため、本研究がシンボリック表現と専門的なプロンプトの重要性を強調する手助けとなることを望む。

要約(オリジナル)

Story generation and understanding — as with all NLG/NLU tasks — has seen a surge in neurosymbolic work. Researchers have recognized that, while large language models (LLMs) have tremendous utility, they can be augmented with symbolic means to be even better and to make up for any flaws that the neural networks might have. However, symbolic methods are extremely costly in terms of the amount of time and expertise needed to create them. In this work, we capitalize on state-of-the-art Code-LLMs, such as Codex, to bootstrap the use of symbolic methods for tracking the state of stories and aiding in story understanding. We show that our CoRRPUS system and abstracted prompting procedures can beat current state-of-the-art structured LLM techniques on pre-existing story understanding tasks (bAbI task 2 and Re^3) with minimal hand engineering. We hope that this work can help highlight the importance of symbolic representations and specialized prompting for LLMs as these models require some guidance for performing reasoning tasks properly.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI