PatternGPT :A Pattern-Driven Framework for Large Language Model Text Generation

要約

大規模言語モデル (LLMS) は、多くの下流タスクに対して人間のような流暢な応答を生成できる優れたテキスト生成機能を示しています。
ただし、大規模な言語モデルを現実世界の重要なタスクに適用することは、幻覚に敏感で外部知識を直接使用できないため、依然として困難です。
上記の課題に対処するために、この論文では、大規模言語モデル用のパターン駆動型テキスト生成フレームワークである PatternGPT を提案します。
まず、このフレームワークは、大規模言語モデルの抽出機能を利用して、豊富で多様な構造化および形式化されたパターンを生成します。これにより、計算を実行するための外部知識の導入が容易になります。次に、より多様なパターンを取得するために、複数のエージェントを使用して共有を実現するフェデレーテッド ラーニングのアイデアを利用します。最後に、判断基準と最適化アルゴリズムを使用して、モデルの生成をガイドする高品質のパターンを検索します。
最後に、判断基準や最適化アルゴリズムなどの外部知識を使用して高品質のパターンを検索し、検索されたパターンをモデル生成のガイドに使用します。
このフレームワークには、多様なパターンの生成、データプライバシーの保護、外部知識の結合、生成品質の向上という利点があり、大規模な言語モデルのテキスト生成機能を最適化する効果的な方法を提供し、インテリジェントな対話とコンテンツ生成の分野への適用を改善します。

要約(オリジナル)

Large language models(LLMS)have shown excellent text generation capabilities, capable of generating fluent human-like responses for many downstream tasks. However, applying large language models to real-world critical tasks remains challenging due to their susceptibility to hallucinations and inability to directly use external knowledge. To cope with the above challenges, this paper proposes PatternGPT, a pattern-driven text generation framework for Large Language Models. Firstly, the framework utilizes the extraction capability of Large Language Models to generate rich and diversified structured and formalized patterns, which facilitates the introduction of external knowledge to do the computation, and then draws on the idea of federated learning to use multiple agents to achieve the sharing in order to obtain more diversified patterns, and finally uses judgment criteria and optimization algorithm to search for high-quality patterns to guide the generation of models. Finally, external knowledge such as judgment criteria and optimization algorithms are used to search for high-quality patterns, and the searched patterns are used to guide model generation. This framework has the advantages of generating diversified patterns, protecting data privacy, combining external knowledge, and improving the quality of generation, which provides an effective method to optimize the text generation capability of large language models, and make it better applied to the field of intelligent dialogue and content generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google