Planning with Logical Graph-based Language Model for Instruction Generation

要約

自然言語テキストを生成するための大規模な言語モデルの優れた性能にもかかわらず、ニューラルモデルが自由形式のテキストから暗黙のルールを捕捉することが困難であるため、与えられたタスクに従って正しい論理を持つテキストを生成することは難しい。本論文では、より妥当なテキスト生成と解釈可能性を実現するために、言語モデルに論理を注入する新しいグラフベース言語モデルLogical-GLMを提案する。具体的には、まず自然言語命令から情報を取得し、一般的なドメインを記述する論理ベイズグラフを構築する。次に、言語モデルの学習を導く論理的骨格を生成し、ドメイン知識を言語モデルに注入する。最後に、収束するまでグラフと言語モデルの探索方針を交互に最適化する。実験の結果、Logical-GLMは、従来の言語モデルと比較して、少ない学習データと少ないパラメータにもかかわらず、効果的かつ効率的であることが示された。また、本アプローチは、ドメイン知識を内包しているため、より正しいロジックを持つ教育テキストを生成することができる。さらに、論理グラフの使用は、言語モデルの内部メカニズムを反映し、ブラックボックスモデルの解釈可能性を向上させる。

要約(オリジナル)

Despite the superior performance of large language models to generate natural language texts, it is hard to generate texts with correct logic according to a given task, due to the difficulties for neural models to capture implied rules from free-form texts. In this paper, we propose a novel graph-based language model, Logical-GLM, to infuse logic into language models for more valid text generation and interpretability. Specifically, we first capture information from natural language instructions and construct logical bayes graphs that generally describe domains. Next, we generate logical skeletons to guide language model training, infusing domain knowledge into language models. Finally, we alternately optimize the searching policy of graphs and language models until convergence. The experimental results show that Logical-GLM is both effective and efficient compared with traditional language models, despite using smaller-scale training data and fewer parameters. Our approach can generate instructional texts with more correct logic owing to the internalized domain knowledge. Moreover, the usage of logical graphs reflects the inner mechanism of the language models, which improves the interpretability of black-box models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL