Socratic Reasoning Improves Positive Text Rewriting

要約

ネガティブなものを肯定的な考えに再構成することは、メンタルヘルスと心理療法に対するいくつかの認知的アプローチの核心であり、大規模な言語モデルベースのソリューションによってよりアクセスしやすくなります。
このような再構成は通常、自明ではないものであり、否定的な思考の根本的な問題を明らかにし、それをより肯定的に変換するために複数の合理化ステップを必要とします。
ただし、この合理化プロセスは現在、1つのステップで思考を再構成するデータセットとモデルの両方で無視されています。
この作業では、\ textsc {socraticReframe}と呼ばれる新しいフレームワークを使用して、合成されたソクラテスの理論的根拠を使用して肯定的なテキストを書き直すためのオープンソースデータセットを増強することにより、このギャップに対処します。
SocraticReframeは、一連の質問回答ペアを使用して、思考書き換えプロセスを合理化します。
このようなソクラテスの根拠は、心理療法研究の基準によって導かれた自動および人間の評価の両方に従って、異なるオープンソースLLMの正のテキスト書き換えを大幅に改善することを示しています。
IRBが承認した注釈研究で、ドメインの専門家と心理学の学生からの専門家の判断との枠組みと合成合理化を検証します。
私たちの調査結果は、LLMの推論と確立された心理療法技術との相乗効果を利用して、否定的な思考を再構築するための支援ソリューションを構築する可能性を強調しています。

要約(オリジナル)

Reframing a negative into a positive thought is at the crux of several cognitive approaches to mental health and psychotherapy that could be made more accessible by large language model-based solutions. Such reframing is typically non-trivial and requires multiple rationalization steps to uncover the underlying issue of a negative thought and transform it to be more positive. However, this rationalization process is currently neglected by both datasets and models which reframe thoughts in one step. In this work, we address this gap by augmenting open-source datasets for positive text rewriting with synthetically-generated Socratic rationales using a novel framework called \textsc{SocraticReframe}. SocraticReframe uses a sequence of question-answer pairs to rationalize the thought rewriting process. We show that such Socratic rationales significantly improve positive text rewriting for different open-source LLMs according to both automatic and human evaluations guided by criteria from psychotherapy research. We validate our framework and the synthetic rationalizations with expert judgements from domain experts and psychology students in an IRB-approved annotation study. Our findings highlight the potential of utilizing the synergy between LLM reasoning and established psychotherapy techniques to build assistive solutions for reframing negative thoughts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google