Cognitive Modeling with Scaffolded LLMs: A Case Study of Referential Expression Generation

要約

LLM は言語生成の認知モデルの一部としてどの程度使用できますか?
この論文では、Dale & Reiter (1995) による指示表現生成のアルゴリズム認知モデルの神経象徴的実装を調査することによって、この問題にアプローチします。
シンボリック タスク分析は、シンボリック モジュールと gpt-3.5-turbo ベースのモジュールを足場にする反復手順として生成を実装します。
この実装を、アブレートされたモデルおよび A3DS データセット上のワンショット LLM のみのベースラインと比較します (Tsvilodub & Franke、2023)。
私たちのハイブリッドアプローチは認知的に妥当であり、複雑な状況でもうまく機能すると同時に、より大きな領域での言語生成のより自由なモデリングを可能にすることがわかりました。

要約(オリジナル)

To what extent can LLMs be used as part of a cognitive model of language generation? In this paper, we approach this question by exploring a neuro-symbolic implementation of an algorithmic cognitive model of referential expression generation by Dale & Reiter (1995). The symbolic task analysis implements the generation as an iterative procedure that scaffolds symbolic and gpt-3.5-turbo-based modules. We compare this implementation to an ablated model and a one-shot LLM-only baseline on the A3DS dataset (Tsvilodub & Franke, 2023). We find that our hybrid approach is cognitively plausible and performs well in complex contexts, while allowing for more open-ended modeling of language generation in a larger domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google