Do Large Language Models Know What They Don’t Know?

要約

大規模言語モデル (LLM) には、さまざまな自然言語処理 (NLP) タスクで優れた能力を発揮できる豊富な知識があります。
現在の研究は、既存の知識の範囲内で彼らのパフォーマンスを向上させることに焦点を当てています。
LLM は膨大な知識を持っていますが、対応して理解できる情報量には依然として限界があります。
したがって、自己知識と呼ばれる、未知のものに対する自分自身の制限を理解する能力が最も重要です。
この研究は、答えられない、または未知の質問を特定する能力を評価することによって、LLM の自己知識を評価することを目的としています。
これらのモデルの応答の不確実性を検出する自動化された方法論を導入し、モデルの自己知識の新しい尺度を提供します。
さらに、5 つの多様なカテゴリからの答えられない質問と、それらに対応する答えられない質問で構成される、独自のデータセット SelfAware を紹介します。
GPT-3、InstructGPT、LLaMA を含む 20 の LLM を含む広範な分析により、これらのモデル内に固有の自己認識能力が発見されました。
さらに、状況に応じた学習と指導の調整により、この自己認識がさらに強化されることを示します。
この有望な洞察にもかかわらず、私たちの調査結果は、これらのモデルの能力と、知識の限界を認識する人間の熟練度の間にかなりのギャップがあることも浮き彫りにしています。

要約(オリジナル)

Large language models (LLMs) have a wealth of knowledge that allows them to excel in various Natural Language Processing (NLP) tasks. Current research focuses on enhancing their performance within their existing knowledge. Despite their vast knowledge, LLMs are still limited by the amount of information they can accommodate and comprehend. Therefore, the ability to understand their own limitations on the unknows, referred to as self-knowledge, is of paramount importance. This study aims to evaluate LLMs’ self-knowledge by assessing their ability to identify unanswerable or unknowable questions. We introduce an automated methodology to detect uncertainty in the responses of these models, providing a novel measure of their self-knowledge. We further introduce a unique dataset, SelfAware, consisting of unanswerable questions from five diverse categories and their answerable counterparts. Our extensive analysis, involving 20 LLMs including GPT-3, InstructGPT, and LLaMA, discovering an intrinsic capacity for self-knowledge within these models. Moreover, we demonstrate that in-context learning and instruction tuning can further enhance this self-knowledge. Despite this promising insight, our findings also highlight a considerable gap between the capabilities of these models and human proficiency in recognizing the limits of their knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google