Examining the Behavior of LLM Architectures Within the Framework of Standardized National Exams in Brazil

要約

Exame Nacional do Ensino M\’edio (ENEM) は、ブラジルの学生にとって極めて重要な試験であり、ブラジルの多くの大学への入学に必要です。
このテストは、数学、人文科学、自然科学、言語に関する高校レベルの客観的なテスト 4 つと、作文 1 つで構成されています。
ブラジル政府の透明性政策により、テストおよびそれに付随する社会経済的状況に関する質問票に対する学生の回答は、匿名化されていても毎年公開されます。
大規模言語モデル (LLM) のコンテキストでは、人間と機械の回答分布にアクセスできるため、これらのデータは人間のさまざまなグループと AI を比較するのに適しています。
私たちはENEMデータセットのこれらの特性を活用し、GPT-3.5と4、およびポルトガルのデータを使用してトレーニングされたモデルであるMariTalkを人間と比較し、彼らの回答が実際の社会グループにどのように関連しているのか、そしてそれがモデルのバイアスについて何を明らかにするのかを確認することを目的としています。
社会経済的地位 (SES) を使用して人間のグループを分割し、各質問およびエッセイの回答分布を LLM と比較します。
モデルと人間の回答の間の距離は主に人間の正確さによって決まるため、多肢選択式のブラジル系ポルトガル語テストで LLM のパフォーマンスを人間と比較した場合、重大な偏りは見つかりませんでした。
エッセイを分析するときに、人間のエッセイと LLM のエッセイがいくつかの重要な要素で異なることが観察されるため、生成されたテキストを調べることによっても同様の結論が見つかります。その 1 つは、モデルのエッセイが人間のエッセイから容易に区別できる単語の選択です。
テキストは構文的にも異なり、LLM で生成されたエッセイでは、平均して文が短く、思考単位が少ないなどの違いが見られます。
これらの結果は、ENEM の文脈におけるブラジル系ポルトガル語の場合、LLM の出力は人間のグループを表しておらず、すべてのテストにおけるブラジル人の学生の回答とは大きく異なることを示唆しています。

要約(オリジナル)

The Exame Nacional do Ensino M\’edio (ENEM) is a pivotal test for Brazilian students, required for admission to a significant number of universities in Brazil. The test consists of four objective high-school level tests on Math, Humanities, Natural Sciences and Languages, and one writing essay. Students’ answers to the test and to the accompanying socioeconomic status questionnaire are made public every year (albeit anonymized) due to transparency policies from the Brazilian Government. In the context of large language models (LLMs), these data lend themselves nicely to comparing different groups of humans with AI, as we can have access to human and machine answer distributions. We leverage these characteristics of the ENEM dataset and compare GPT-3.5 and 4, and MariTalk, a model trained using Portuguese data, to humans, aiming to ascertain how their answers relate to real societal groups and what that may reveal about the model biases. We divide the human groups by using socioeconomic status (SES), and compare their answer distribution with LLMs for each question and for the essay. We find no significant biases when comparing LLM performance to humans on the multiple-choice Brazilian Portuguese tests, as the distance between model and human answers is mostly determined by the human accuracy. A similar conclusion is found by looking at the generated text as, when analyzing the essays, we observe that human and LLM essays differ in a few key factors, one being the choice of words where model essays were easily separable from human ones. The texts also differ syntactically, with LLM generated essays exhibiting, on average, smaller sentences and less thought units, among other differences. These results suggest that, for Brazilian Portuguese in the ENEM context, LLM outputs represent no group of humans, being significantly different from the answers from Brazilian students across all tests.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google