The Two Word Test: A Semantic Benchmark for Large Language Models

要約

大規模言語モデル (LLM) は、高度な専門試験や要求の厳しいベンチマーク テストに合格するなど、最近顕著な能力を示しています。
このパフォーマンスにより、言語、さらには汎用人工知能 (AGI) についても、人間のような理解、または「真の」理解に近づいていると多くの人が示唆しています。
ここでは、高度なトレーニングなしで人間が比較的簡単に実行できるタスクを使用して、2 単語のフレーズを使用して LLM の意味論的能力を評価できる新しいオープンソース ベンチマークを提供します。
複数の単語を 1 つの概念に結合することは、人間の言語と知性の基本的な側面です。
このテストでは、意味がある (例: 男の子の赤ちゃん) または意味がない (例: ヤギの空) と評価された 1768 個の名詞と名詞の組み合わせの意味の判断が必要です。
150 人の人間の評価者による。
私たちは、0 ～ 4 のスケールで意味の評価と二者択一の判断を調査するタスクのバージョンを提供します。
GPT-4、GPT-3.5、および Bard の両方のバージョンで TWT を使用して一連の実験を実施しました。
結果は、人間と比較して、すべてのモデルがこれらのフレーズの意味を評価する能力が低いことを示しました。
GPT-3.5 と Bard は、意味のあるフレーズと意味のないフレーズを二値的に区別することもできません。
GPT-4 は、組み合わせフレーズの 2 値識別において大幅な改善をもたらしますが、それでも人間のパフォーマンスよりは大幅に劣ります。
TWT を使用すると、現在の LLM の制限と弱点を理解し、それらを改善できる可能性があります。
このテストはまた、「真の理解」または AGI を LLM に帰する場合には注意が必要であることを思い出させます。
TWT は https://github.com/NickRiccardi/two-word-test から入手できます。

要約(オリジナル)

Large Language Models (LLMs) have shown remarkable abilities recently, including passing advanced professional exams and demanding benchmark tests. This performance has led many to suggest that they are close to achieving humanlike or ‘true’ understanding of language, and even Artificial General Intelligence (AGI). Here, we provide a new open-source benchmark that can assess semantic abilities of LLMs using two-word phrases using a task that can be performed relatively easily by humans without advanced training. Combining multiple words into a single concept is a fundamental aspect of human language and intelligence. The test requires meaningfulness judgments of 1768 noun-noun combinations that have been rated as meaningful (e.g., baby boy) or not meaningful (e.g., goat sky). by 150 human raters. We provide versions of the task that probe meaningfulness ratings on a 0-4 scale as well as binary judgments. We conducted a series of experiments using the TWT on GPT-4, GPT-3.5, and Bard, with both versions. Results demonstrated that, compared to humans, all models perform poorly at rating meaningfulness of these phrases. GPT-3.5 and Bard are also unable to make binary discriminations between sensible and nonsense phrases as making sense. GPT-4 makes a substantial improvement in binary discrimination of combinatorial phrases but is still significantly worse than human performance. The TWT can be used to understand the limitations and weaknesses of current LLMs, and potentially improve them. The test also reminds us that caution is warranted in attributing ‘true understanding’ or AGI to LLMs. TWT is available at: https://github.com/NickRiccardi/two-word-test

arxiv情報

提供元, 利用サービス

arxiv.jp, Google