Don’t Ignore Dual Logic Ability of LLMs while Privatizing: A Data-Intensive Analysis in Medical Domain

要約

特定ドメインのデータを供給することにより、一般ドメインの大規模言語モデル (LLM) をドメイン固有 LLM として民営化することについて、広範な研究が行われてきました。
しかし、これらの民営化の取り組みでは、LLM の中核となる推論能力である二重論理能力という重要な側面が無視されることがよくありました。
LLM の二重論理能力により、同じ事実について肯定的な発言と否定的な発言の両方に直面した場合でも、一貫した立場を維持できます。
私たちの研究は、LLM の二重論理能力が医療分野の民営化プロセス中にどのような影響を受けるかに焦点を当てています。
私たちは、同じ事実についてのペアの質問に対する応答におけるスタンスの一貫性を調べることにより、LLM の二重論理能力を分析するためにいくつかの実験を行います。
私たちの実験では、興味深いことに、民営化後に既存の LLM の二重論理能力が大幅に低下することが観察されました。
さらに、我々の結果は、一般的なドメイン二重論理データをLLMに組み込むと、LLMの二重論理能力が強化されるだけでなく、その精度がさらに向上することを示しています。
これらの調査結果は、民営化プロセスにおいて LLM の二重論理機能を優先することの重要性を強調しています。
私たちの研究は、民営化プロセス中のLLMの二重論理能力を調査することを目的とした将来の研究のベンチマークを確立し、現実世界のアプリケーションにおける民営化の取り組みに貴重な指針を提供します。

要約(オリジナル)

Extensive studies have been devoted to privatizing general-domain Large Language Models (LLMs) as Domain-Specific LLMs via feeding specific-domain data. However, these privatization efforts often ignored a critical aspect: Dual Logic Ability, which is a core reasoning ability for LLMs. The dual logic ability of LLMs ensures that they can maintain a consistent stance when confronted with both positive and negative statements about the same fact. Our study focuses on how the dual logic ability of LLMs is affected during the privatization process in the medical domain. We conduct several experiments to analyze the dual logic ability of LLMs by examining the consistency of the stance in responses to paired questions about the same fact. In our experiments, interestingly, we observed a significant decrease in the dual logic ability of existing LLMs after privatization. Besides, our results indicate that incorporating general domain dual logic data into LLMs not only enhances LLMs’ dual logic ability but also further improves their accuracy. These findings underscore the importance of prioritizing LLMs’ dual logic ability during the privatization process. Our study establishes a benchmark for future research aimed at exploring LLMs’ dual logic ability during the privatization process and offers valuable guidance for privatization efforts in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google