ProSwitch: Knowledge-Guided Instruction Tuning to Switch Between Professional and Non-Professional Answers

要約

大規模言語モデル(LLM)は、テキストの要約や制御されたテキストの生成など、様々な言語的応用において有効性を実証してきた。しかし、LLMの命令チューニングによる文体切り替え能力に関する研究はまだ十分に行われていない。本研究では、LLMのスタイル切り替え能力に注目し、ProSwitchと名付けられた新しいアプローチを導入する。ProSwitchは、言語モデルが、ドメインとスタイル知識のガイダンスを通じてチューニングと評価を行うことで、専門的な回答と非専門的な回答の切り替えを可能にする。ProSwitchは3つのフェーズで展開される：ドメイン知識とQAペアを収集するLLM強化準備、複数レベルの知識を持つLLMを最適化する命令チューニング、生成テキストのスタイル識別と参照ベースの品質の両方を評価する総合評価。一般的なLLMと専門的なLLMに対するProSwitchの比較分析により、専門的な回答と専門的でない回答の切り替えにおいて、我々のアプローチがベースラインを上回ることが明らかになった。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated efficacy in various linguistic applications, including text summarization and controlled text generation. However, studies into their capacity of switching between styles via instruction tuning remain underexplored. This study concentrates on the style-switching abilities of LLMs and introduces a novel approach, named ProSwitch, which enables a language model to switch between professional and non-professional answers, by tuning and evaluating through the guidance of domain and style knowledge. ProSwitch unfolds across three phases: LLM-augmented preparation to collect domain knowledge and QA pairs, instruction tuning to optimize LLMs with multiple levels of knowledge, and comprehensive evaluation to assess both style discrimination and reference-based quality of generated text. Comparative analysis of ProSwitch against general and specialized LLMs reveals that our approach outperforms baselines in switching between professional and non-professional answers.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL