Exploring the Hidden Reasoning Process of Large Language Models by Misleading Them

要約

大規模な言語モデル（LLM）とビジョン言語モデル（VLM）は、さまざまなシナリオでさまざまな形式の推論タスクを実行することができましたが、単なる記憶とパターンマッチングを超えて、タスクの抽象化とルールベースの推論に本当に関与していますか？
この質問に答えるために、LLMS/VLMSが基本的なルールの元の理解を変更することにより抽象的な推論を実行するかどうかを調べるために、微調整（MISFT）を誤解させる新しい実験的アプローチを提案します。
特に、正しい操作原則と矛盾する数学式でデータセットを構築することにより、モデルを微調整して矛盾したルールを学習し、異なるテストドメインでの一般化能力を評価します。
一連の実験を通じて、現在のLLMS/VLMは、推論の前に抽象化する内部メカニズムの存在を暗示する、実用的な数学の単語の問題と画像で表される数学の式を解決するために矛盾したルールを効果的に適用できることがわかります。

要約(オリジナル)

Large language models (LLMs) and Vision language models (VLMs) have been able to perform various forms of reasoning tasks in a wide range of scenarios, but are they truly engaging in task abstraction and rule-based reasoning beyond mere memorization and pattern matching? To answer this question, we propose a novel experimental approach, Misleading Fine-Tuning (MisFT), to examine whether LLMs/VLMs perform abstract reasoning by altering their original understanding of fundamental rules. In particular, by constructing a dataset with math expressions that contradict correct operation principles, we fine-tune the model to learn those contradictory rules and assess its generalization ability on different test domains. Through a series of experiments, we find that current LLMs/VLMs are capable of effectively applying contradictory rules to solve practical math word problems and math expressions represented by images, implying the presence of an internal mechanism that abstracts before reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google