Line of Duty: Evaluating LLM Self-Knowledge via Consistency in Feasibility Boundaries

要約

LLMSがより強力になるにつれて、彼らの最も深い成果は、「私は知らない」と言うことを認識することかもしれません。
LLMの自己知識に関する既存の研究は、人間が定義された実現可能性の概念によって主に制約されており、LLMによる未回答性の背後にある理由を無視し、不十分な種類の自己認識を研究していないことがよくあります。
この研究の目的は、新しい方法論を使用して、さまざまなタイプのLLM自己知識に関する本質的な洞察を得ることを目的としています。独自の実現可能性の境界を設定する柔軟性を可能にし、これらの制限の一貫性を分析することです。
GPT-4OやMistral Largeのようなフロンティアモデルでさえ、80％以上の能力がわからず、反応に対する信頼性の重大な欠如を強調していることがわかります。
LLMSの信頼バランスの分析は、モデルがタスクカテゴリに応じて、実現可能性の境界で自信過剰と保守主義の間を振り回し、最も重要な自己知識の弱点は時間的認識と文脈的理解にあることを示しています。
コンテキストの理解におけるこれらの困難は、さらにモデルが運用上の境界に疑問を投げかけることにつながり、LLMSの自己認識内でかなりの混乱をもたらします。
コードと結果をhttps://github.com/knowledge-verse-ai/llm-self_knowledge_evalで公開しています

要約(オリジナル)

As LLMs grow more powerful, their most profound achievement may be recognising when to say ‘I don’t know’. Existing studies on LLM self-knowledge have been largely constrained by human-defined notions of feasibility, often neglecting the reasons behind unanswerability by LLMs and failing to study deficient types of self-knowledge. This study aims to obtain intrinsic insights into different types of LLM self-knowledge with a novel methodology: allowing them the flexibility to set their own feasibility boundaries and then analysing the consistency of these limits. We find that even frontier models like GPT-4o and Mistral Large are not sure of their own capabilities more than 80% of the time, highlighting a significant lack of trustworthiness in responses. Our analysis of confidence balance in LLMs indicates that models swing between overconfidence and conservatism in feasibility boundaries depending on task categories and that the most significant self-knowledge weaknesses lie in temporal awareness and contextual understanding. These difficulties in contextual comprehension additionally lead models to question their operational boundaries, resulting in considerable confusion within the self-knowledge of LLMs. We make our code and results available publicly at https://github.com/knowledge-verse-ai/LLM-Self_Knowledge_Eval

arxiv情報

提供元, 利用サービス

arxiv.jp, Google