Investigating the (De)Composition Capabilities of Large Language Models in Natural-to-Formal Language Conversion

要約

一般化された堅牢な自然言語から形式言語への変換 (N2F) を実現するには、大規模言語モデル (LLM) が、なじみのない形式言語に直面したときに N2F で分解および合成する強力な機能を備え、構成上のギャップやカウンターに対処できる必要があります。
– 直感的な記号名。
LLM が N2F でこの一連の基本機能を備えているかどうかを調査するために、DEDC フレームワークを提案します。
このフレームワークはサンプルとタスクの構築を半自動的に実行し、N2F の LLM の分解および合成機能のセットを分離して評価できるようにします。
このフレームワークに基づいて、私たちは最先端の LLM を評価および分析します。その主な結果は次のとおりです。(1) LLM は分解と合成の両方が不十分である。
(2) LLM は、自然言語理解および記号システムの学習と使用における欠陥に起因すると考えられるエラー タイプを幅広くカバーしていることを示しています。
(3) 構成上のギャップと直感に反するシンボル名の両方が、LLM の分解と構成に影響を与えます。
私たちの研究は、N2F における LLM の分解と合成の基本的な機能を調査するための新しい視点を提供します。
欠陥と原因の詳細な分析は、LLM のその後の改善に役立ちます。

要約(オリジナル)

To achieve generalized and robust natural-to-formal language conversion (N2F), large language models (LLMs) need to have strong capabilities of decomposition and composition in N2F when faced with an unfamiliar formal language and be able to cope with compositional gaps and counter-intuitive symbolic names. To investigate whether LLMs have this set of basic capabilities in N2F, we propose the DEDC framework. This framework semi-automatically performs sample and task construction, allowing decoupled evaluation of the set of decomposition and composition capabilities of LLMs in N2F. Based on this framework, we evaluate and analyze the most advanced LLMs, and the main findings include that: (1) the LLMs are deficient in both decomposition and composition; (2) the LLMs show a wide coverage of error types that can be attributed to deficiencies in natural language understanding and the learning and use of symbolic systems; (3) compositional gaps and counter-intuitive symbolic names both affect the decomposition and composition of the LLMs. Our work provides a new perspective for investigating the basic capabilities of decomposition and composition of LLMs in N2F. The detailed analysis of deficiencies and attributions can help subsequent improvements of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google