StructGPT: A General Framework for Large Language Model to Reason over Structured Data

要約

この論文では、統一された方法で構造化データに対する大規模言語モデル (LLM) のゼロショット推論能力を向上させる方法を研究します。
LLM のツール拡張に関する研究に触発されて、私たちは構造化データに基づいて質問応答タスクを解決するための \emph{Iterative Reading-then-Reasoning~(IRR)} アプローチ (\textbf{StructGPT} と呼ばれます) を開発しました。
私たちのアプローチでは、構造化データから関連する証拠を収集するための特殊な関数 (\ie \emph{reading}) を構築し、収集した情報に基づいて LLM に推論タスクを集中させます (\ie \emph{reasoning})。
特に、外部インターフェースの助けを借りて構造化データの推論において LLM をサポートする \emph{invoking-linearization-generation} プロシージャを提案します。
提供されたインターフェイスを使用してこの手順を繰り返すことにより、私たちのアプローチは、特定のクエリに対する目標の答えに徐々に近づくことができます。
3 種類の構造化データに対して行われた広範な実験により、ChatGPT のパフォーマンスを大幅に向上させ、フルデータの教師付きチューニング ベースラインと比較して同等のパフォーマンスを達成できるアプローチの有効性が実証されました。
私たちのコードとデータは、~\url{https://github.com/RUCAIBox/StructGPT} で公開されています。

要約(オリジナル)

In this paper, we study how to improve the zero-shot reasoning ability of large language models~(LLMs) over structured data in a unified way. Inspired by the study on tool augmentation for LLMs, we develop an \emph{Iterative Reading-then-Reasoning~(IRR)} approach for solving question answering tasks based on structured data, called \textbf{StructGPT}. In our approach, we construct the specialized function to collect relevant evidence from structured data (\ie \emph{reading}), and let LLMs concentrate the reasoning task based on the collected information (\ie \emph{reasoning}). Specially, we propose an \emph{invoking-linearization-generation} procedure to support LLMs in reasoning on the structured data with the help of the external interfaces. By iterating this procedures with provided interfaces, our approach can gradually approach the target answer to a given query. Extensive experiments conducted on three types of structured data demonstrate the effectiveness of our approach, which can significantly boost the performance of ChatGPT and achieve comparable performance against the full-data supervised-tuning baselines. Our codes and data are publicly available at~\url{https://github.com/RUCAIBox/StructGPT}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google