PatternGPT :A Pattern-Driven Framework for Large Language Model Text Generation

要約

大規模言語モデル (LLMS) は、多くの下流タスクに対して流暢な応答を生成できる優れたテキスト生成機能を示しています。
ただし、大規模な言語モデルを現実世界の重要なタスクに適用することは、幻覚に敏感で外部知識を直接使用できないため、依然として困難です。
上記の課題に対処するために、この論文では、大規模言語モデル用のパターン駆動型テキスト生成フレームワークである PatternGPT を提案します。
まず、このフレームワークは大規模な言語モデルの抽出機能を利用して豊富で多様なパターンを生成し、その後フェデレーション ラーニングのアイデアを活用します。
複数のエージェントを使用して共有を実現し、より多様なパターンを取得します。
最後に、判断基準と最適化アルゴリズムを使用して高品質のパターンを検索し、検索されたパターンを使用してモデル生成をガイドします。
このフレームワークには、多様なパターンの生成、データプライバシーの保護、外部知識の結合、生成品質の向上という利点があり、大規模な言語モデルのテキスト生成機能を最適化する効果的な方法を提供し、言語モデルの分野への適用を改善します。
インテリジェントな対話とコンテンツ生成。

要約(オリジナル)

Large language models(LLMS) have shown excellent text generation capabilities,capable of generating fluent responses for many downstream tasks. However,applying large language models to real-world critical tasks remains challenging due to their susceptibility to hallucinations and inability to directly use external knowledge. To address the above challenges,this paper proposes PatternGPT, a pattern-driven text generation framework for large language models. First,the framework utilizes the extraction capabilities of large language models to generate rich and diverse patterns and later draws on the idea of federated learning. Using multiple agents to achieve sharing to obtain more diverse patterns. Finally, it searches for high-quality patterns using judgment criteria and optimization algorithms and uses the searched patterns to guide the model for generation. This framework has the advantages of generating diversified patterns, protecting data privacy,combining external knowledge, and improving the quality of generation, which provides an effective method to optimize the text generation capability of large language models,and make it better applied to the field of intelligent dialogue and content generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google