Questioning Internal Knowledge Structure of Large Language Models Through the Lens of the Olympic Games

要約

大規模言語モデル (LLM) は、自然言語処理における主要なアプローチとなっていますが、その内部知識構造はほとんど解明されていないままです。
この論文では、過去のオリンピック大会のメダル獲得数を使用して、LLM の内部知識構造を分析します。
各チームのメダル数を提供し、どのチームが特定のランキングを達成したかを識別するというタスクをモデルに与えます。
私たちの結果は、最先端の LLM は個々のチームのメダル数を報告する点では非常に優れたパフォーマンスを示しているものの、特定のランキングに関する質問には非常に苦労していることを明らかにしています。
これは、LLM の内部知識構造が、既知のメダル数からランキングを容易に推測できる人間の内部知識構造とは根本的に異なることを示唆しています。
さらなる研究をサポートするために、コード、データセット、モデルの出力を一般公開します。

要約(オリジナル)

Large language models (LLMs) have become a dominant approach in natural language processing, yet their internal knowledge structures remain largely unexplored. In this paper, we analyze the internal knowledge structures of LLMs using historical medal tallies from the Olympic Games. We task the models with providing the medal counts for each team and identifying which teams achieved specific rankings. Our results reveal that while state-of-the-art LLMs perform remarkably well in reporting medal counts for individual teams, they struggle significantly with questions about specific rankings. This suggests that the internal knowledge structures of LLMs are fundamentally different from those of humans, who can easily infer rankings from known medal counts. To support further research, we publicly release our code, dataset, and model outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google