Introspective Growth: Automatically Advancing LLM Expertise in Technology Judgment

要約

大規模な言語モデル（LLM）は、概念的な理解の兆候をますます示していますが、内部知識の多くは潜在的、ゆるく構造化され、アクセスまたは評価が困難なままです。
特に成功がきめ細かいセマンティックの区別に依存するドメインで、LLMの理解を改善するための軽量でスケーラブルな戦略として自己質問を提案します。
このアプローチを評価するために、密集した技術用語と戦略的に複雑な執筆を特徴とする2015年以降の130万のコンピューターサイエンス特許ペアの挑戦的な新しいベンチマークを紹介します。
ベンチマークは、ペアワイズ分化タスクに集中しています。モデルは、密接に関連しているが実質的に異なる発明を区別できますか？
プラセボの科学情報と比較して、LLMが自分の質問を生成して答えるように促し、タスクに必要な背景知識をターゲットにすることを促し、パフォーマンスを大幅に改善します。
これらの自己生成された質問と回答は、それ以外の場合は十分に活用されていない内部知識を活性化します。
LLMが外部の科学テキストから回答を取得できるようにすると、パフォーマンスがさらに向上し、モデルの知識が圧縮され、トレーニングデータの完全な豊かさがないことを示唆しています。
また、自己質問は技術的概念の理解を改善するためにより効果的なままであるが、考え方の促しと自己質問が収束することを発見した。
特に、プロンプトの非対称性を発見します。より小さなモデルは、大規模なモデルよりも中規模モデルに対してより基本的で、よりオープンエンド、より優れた、より優れた、より優れた、より優れた、より優れた、より優れた整列の質問を生成し、クロスモデルコラボレーションのための新しい戦略を明らかにします。
全体として、私たちの調査結果は、特にまばらで過小評価された知識を持つドメインで、LLM理解を自動的に改善するための実用的なメカニズムと、内部および外部の知識がどのように編成されているかの診断プローブとしての自己質問を確立します。

要約(オリジナル)

Large language models (LLMs) increasingly demonstrate signs of conceptual understanding, yet much of their internal knowledge remains latent, loosely structured, and difficult to access or evaluate. We propose self-questioning as a lightweight and scalable strategy to improve LLMs’ understanding, particularly in domains where success depends on fine-grained semantic distinctions. To evaluate this approach, we introduce a challenging new benchmark of 1.3 million post-2015 computer science patent pairs, characterized by dense technical jargon and strategically complex writing. The benchmark centers on a pairwise differentiation task: can a model distinguish between closely related but substantively different inventions? We show that compared to placebo scientific information, prompting LLMs to generate and answer their own questions – targeting the background knowledge required for the task – significantly improves performance. These self-generated questions and answers activate otherwise underutilized internal knowledge. Allowing LLMs to retrieve answers from external scientific texts further enhances performance, suggesting that model knowledge is compressed and lacks the full richness of the training data. We also find that chain-of-thought prompting and self-questioning converge, though self-questioning remains more effective for improving understanding of technical concepts. Notably, we uncover an asymmetry in prompting: smaller models often generate more fundamental, more open-ended, better-aligned questions for mid-sized models than large models do, revealing a new strategy for cross-model collaboration. Altogether, our findings establish self-questioning as both a practical mechanism for automatically improving LLM comprehension, especially in domains with sparse and underrepresented knowledge, and a diagnostic probe of how internal and external knowledge are organized.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google