Chain-of-Discussion: A Multi-Model Framework for Complex Evidence-Based Question Answering

要約

自由回答型の質問応答では、モデルが適切な証拠を見つけて、論理的で包括的で役立つ回答を形成する必要があります。
実際のアプリケーションでは、モデルは、質問に密接に関連する潜在的なシナリオについての広範な議論に参加する必要もあります。
検索モジュールの強化により、オープンソースの大規模言語モデル (LLM) は、多くの場合、さまざまな焦点を当てた一貫した回答を生成できますが、信頼できる証拠の選択と詳細な質問分析の点では依然として最適とは言えません。
このペーパーでは、オープンエンド QA に対して \textbf{より正確な} および \textbf{より包括的な} 回答を提供することを目的とした、複数のオープンソース LLM 間の相乗効果を活用する新しいディスカッション連鎖フレームワークを提案します。
個々ではそこまで強くない。
私たちの実験では、複数の LLM 間のディスカッションが回答の質を高める上で重要な役割を果たしていることがわかりました。
データとコードは \url{https://github.com/kobashinna01/Chain-of-Discussion} で公開しています。

要約(オリジナル)

Open-ended question answering requires models to find appropriate evidence to form well-reasoned, comprehensive and helpful answers. In practical applications, models also need to engage in extended discussions on potential scenarios closely relevant to the question. With augmentation of retrieval module, open-source Large Language Models (LLMs) can produce coherent answers often with different focuses, but are still sub-optimal in terms of reliable evidence selection and in-depth question analysis. In this paper, we propose a novel Chain-of-Discussion framework to leverage the synergy among multiple open-source LLMs aiming to provide \textbf{more correct} and \textbf{more comprehensive} answers for open-ended QA, although they are not strong enough individually. Our experiments show that discussions among multiple LLMs play a vital role in enhancing the quality of answers. We release our data and code at \url{https://github.com/kobayashikanna01/Chain-of-Discussion}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google