Speak It Out: Solving Symbol-Related Problems with Symbol-to-Language Conversion for Language Models

要約

数列、分子式、表の区切り記号などの記号 (より広義には、非自然言語によるテキスト表現) は広く存在し、抽象的な推論、化学的性質の予測、表での質問応答などのさまざまなタスクで重要な役割を果たしています。
大規模言語モデル (LLM) の優れた自然言語理解能力にもかかわらず、シンボルの推論能力は依然として不十分であり、これはシンボル表現と一般的な自然言語の違いに起因する可能性があります。
私たちは、大規模な言語モデルが自然言語で表現された情報を使用してシンボル関連の問題を解決できる、チューニング不要の手法であるシンボルから言語への変換 (S2L) を提案します。
具体的には、S2L はまず、関連するシンボルを言語ベースの表現に変換します。これは、LLM をプロンプトするか、外部ツールを活用することで実装できます。次に、これらの言語ベースの表現は、直接置換または連結によって元の問題に統合され、次の問題に有用な入力情報として機能します。
LLM。
API ベース (GPT-4、ChatGPT) モデルとオープンソース (OpenChat) モデルの両方を使用して、シンボルのみの抽象推論からソーシャル メディアの感情分析に至るまで、8 つのシンボル関連タスクにわたって S2L メソッドを評価します。
実験結果は、S2L が一貫して優れたパフォーマンスにつながることを示しています。
たとえば、GPT-4 に S2L を採用すると、1D-ARC と Dyck 言語のサブタスクでそれぞれ平均 +21.9% と +9.5% の大幅な改善が見られます。
コードとデータは https://github.com/THUNLP-MT/symbol2 language で入手できます。

要約(オリジナル)

Symbols (or more broadly, non-natural language textual representations) such as numerical sequences, molecular formulas, and table delimiters widely exist, playing important roles in various tasks such as abstract reasoning, chemical property prediction, and table question answering. Despite the impressive natural language comprehension capabilities of large language models (LLMs), their reasoning abilities for symbols remain inadequate, which could attributed to the difference between symbol representations and general natural languages. We propose symbol-to-language (S2L), a tuning-free method that enables large language models to solve symbol-related problems with information expressed in natural language. Specifically, S2L first converts the symbols involved to language-based representations, which can be implemented by prompting LLMs or leveraging external tools, then these language-based representations are integrated into the original problem via direct substitution or concatenation, serving as useful input information for LLMs. We evaluate the S2L method using both API-based (GPT-4, ChatGPT) and open-source (OpenChat) models over eight symbol-related tasks, ranging from symbol-only abstract reasoning to sentiment analysis in social media. Experimental results show that S2L consistently leads to superior performance. For example, by employing S2L for GPT-4, there can be average significant improvements of +21.9% and +9.5% for subtasks in 1D-ARC and Dyck language, respectively. Codes and data are available at https://github.com/THUNLP-MT/symbol2language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google