CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues

要約

命令チューニング データセットの最近の進歩は、主に数学的推論や論理的推論などの特定のタスクに焦点を当てています。
会話におけるトピックの関連性を維持するために言語モデルを調整するために設計されたデータには、顕著なギャップがありました。これは、チャットボットを運用環境に導入するための重要な側面です。
CantTalkAboutThis データセットを導入して、タスク指向の対話中に言語モデルが当面の主題に集中し続けるのを支援します。
さまざまな分野の幅広い会話トピックに関する合成対話で構成されています。
これらの対話には、チャットボットを事前に定義されたトピックから意図的にそらすための注意をそらすターンが散在しています。
このデータセットで言語モデルを微調整すると、GPT-4-turbo や Mixtral-Instruct などの汎用の命令調整 LLM と比較して、割り当てられた役割からの逸脱に対する耐性が向上し、トピックの一貫性を維持する能力が向上します。
さらに、予備的な観察では、このデータセットでモデルをトレーニングすると、安全調整などのタスクに続くきめ細かい指示でもパフォーマンスが向上することが示唆されています。

要約(オリジナル)

Recent advancements in instruction-tuning datasets have predominantly focused on specific tasks like mathematical or logical reasoning. There has been a notable gap in data designed for aligning language models to maintain topic relevance in conversations – a critical aspect for deploying chatbots to production. We introduce the CantTalkAboutThis dataset to help language models remain focused on the subject at hand during task-oriented interactions. It consists of synthetic dialogues on a wide range of conversation topics from different domains. These dialogues are interspersed with distractor turns that intentionally divert the chatbot from the predefined topic. Fine-tuning language models on this dataset helps make them resilient to deviating from the role assigned and improves their ability to maintain topical coherence compared to general-purpose instruction-tuned LLMs like GPT-4-turbo and Mixtral-Instruct. Additionally, preliminary observations suggest that training models on this dataset also enhance their performance on fine-grained instruction following tasks, including safety alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google