Learning to Solve Domain-Specific Calculation Problems with Knowledge-Intensive Programs Generator

要約

ドメイン大規模言語モデル (LLM) は、一般的な LLM に基づいてドメイン固有のタスク用に開発されています。
ただし、一部のドメイン固有のタスクの専門知識を促進するには、依然として専門知識が必要です。
この論文では、知識集約型の計算問題を調査します。
LLM にとって数学の問題は、専門用語の単純な定式化ではなく、ドメイン固有の複雑なルールや知識文書が関係する場合に困難であることがわかりました。
したがって、知識集中型プログラム ジェネレーターを使用してドメイン固有の計算問題をより効果的に解決するための、KIPG という名前のパイプラインを提案します。
ドメイン固有のドキュメントに従って知識集約型プログラムを生成します。
クエリごとに主要な変数が抽出され、ドメイン知識に依存する結果がプログラムで計算されます。
優先順位の調整を繰り返すことにより、コード ジェネレーターはドメインの知識とのロジックの一貫性を向上させることを学習します。
法的領域を例に挙げると、パイプラインの有効性を証明するための実験とモジュールの広範な分析を実施しました。
また、コード ジェネレーターは、新しい知識に基づいてトレーニングすることなく、他のドメインにも適応できることもわかりました。

要約(オリジナル)

Domain Large Language Models (LLMs) are developed for domain-specific tasks based on general LLMs. But it still requires professional knowledge to facilitate the expertise for some domain-specific tasks. In this paper, we investigate into knowledge-intensive calculation problems. We find that the math problems to be challenging for LLMs, when involving complex domain-specific rules and knowledge documents, rather than simple formulations of terminologies. Therefore, we propose a pipeline to solve the domain-specific calculation problems with Knowledge-Intensive Programs Generator more effectively, named as KIPG. It generates knowledge-intensive programs according to the domain-specific documents. For each query, key variables are extracted, then outcomes which are dependent on domain knowledge are calculated with the programs. By iterative preference alignment, the code generator learns to improve the logic consistency with the domain knowledge. Taking legal domain as an example, we have conducted experiments to prove the effectiveness of our pipeline, and extensive analysis on the modules. We also find that the code generator is also adaptable to other domains, without training on the new knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google