Think from Words(TFW): Initiating Human-Like Cognition in Large Language Models Through Think from Words for Japanese Text-level Classification

要約

大規模言語モデル (LLM) の普及により、命令学習 (IL)、コンテキスト内学習 (ICL)、思考連鎖 (CoT) など、LLM 関連のプロンプト調査に関する広範な研究が促進されています。
これらのアプローチは、LLM が質問に対処する際に、より深く熟考するための簡潔なステートメントや例を提供できるようにすることで、LLM の応答を改善することを目的としています。
ただし、LLM による独立した思考は思考プロセスにばらつきをもたらし、潜在的な不正確さにつながる可能性があります。
これに応えて、私たちの研究は、テキストの理解が個々の単語の理解から始まることを認識し、LLM と人間のような思考プロセスとの間のギャップを埋めることを目指しています。
この課題に取り組むために、私たちは特定のドメインに対応できるように CoT メソッドを拡張しました。
「Think from Words」（TFW）として知られる私たちのアプローチは、単語レベルで理解プロセスを開始し、テキスト全体を包含するようにそれを拡張します。
また、追加の単語レベルのデータで理解を強化する「追加の単語レベル情報を含む TFW」(TFW Extra) も​​提案します。
私たちの方法を評価するために、テキストレベルと単語レベルの要素で構成される 6 つの日本語データセットに対してテキスト分類を採用しています。
私たちの調査結果は、TFW の有効性を検証するだけでなく、LLM のテキスト理解に対するさまざまな単語レベルの情報タイプの影響にも光を当て、最終テキストの全体的な理解において誤解や誤りを引き起こす可能性についての洞察を提供します。

要約(オリジナル)

The proliferation of Large Language Models (LLMs) has spurred extensive research into LLM-related Prompt investigations, such as Instruction Learning (IL), In-context Learning (ICL), and Chain-of-Thought (CoT). These approaches aim to improve LLMs’ responses by enabling them to provide concise statements or examples for deeper contemplation when addressing questions. However, independent thinking by LLMs can introduce variability in their thought processes, leading to potential inaccuracies. In response, our study seeks to bridge the gap between LLM and human-like thinking processes, recognizing that text comprehension begins with understanding individual words. To tackle this challenge, we have expanded the CoT method to cater to a specific domain. Our approach, known as ‘Think from Words’ (TFW), initiates the comprehension process at the word level and then extends it to encompass the entire text. We also propose ‘TFW with Extra word-level information’ (TFW Extra), augmenting comprehension with additional word-level data. To assess our methods, we employ text classification on six Japanese datasets comprising text-level and word-level elements. Our findings not only validate the effectiveness of TFW but also shed light on the impact of various word-level information types on LLMs’ text comprehension, offering insights into their potential to cause misinterpretations and errors in the overall comprehension of the final text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google