Test-takers have a say: understanding the implications of the use of AI in language tests

要約

言語テストは、聞く、話す、読む、書くという観点から言語を使用する能力を測定します。
このようなテストは、教育機関、専門認定機関、政府などの組織が受験者の言語能力を評価するために使用しており、学術、専門、移民の分野で不可欠な役割を果たしています。
人工知能 (AI) と自然言語処理分野の最近の進歩により、言語テストプロバイダーは言語テストにおける AI の潜在的な応用可能性を探求し、言語の指導と学習を取り巻く活動パターンの変革につながりました。
ただし、AI の信頼性に対する懸念があるため、言語テストに AI を統合することの影響を理解することが不可欠です。
この知識により、利害関係者は十分な情報に基づいて意思決定を行うことができるようになり、コミュニティの福祉が保護され、完全性がテストされるようになります。
語学試験におけるAI活用の懸念と影響を理解するために、英語試験受験者へのインタビューとアンケートを実施しました。
私たちの知る限り、これは言語試験における AI 導入の影響を受験者の観点から特定することを目的とした初の実証研究です。
私たちの研究により、受験者の認識と行動パターンが明らかになりました。
具体的には、AI の統合により、公平性、一貫性、可用性の認識が強化される可能性があることを確認しています。
逆に、信頼性や双方向性の側面に対する不信感を煽り、その後、受験者の行動や幸福に影響を与える可能性があります。
これらの洞察は、潜在的な社会的影響をより深く理解し、言語テストにおける AI の使用に関して利害関係者が十分な情報に基づいた決定を下すのに役立ちます。

要約(オリジナル)

Language tests measure a person’s ability to use a language in terms of listening, speaking, reading, or writing. Such tests play an integral role in academic, professional, and immigration domains, with entities such as educational institutions, professional accreditation bodies, and governments using them to assess candidate language proficiency. Recent advances in Artificial Intelligence (AI) and the discipline of Natural Language Processing have prompted language test providers to explore AI’s potential applicability within language testing, leading to transformative activity patterns surrounding language instruction and learning. However, with concerns over AI’s trustworthiness, it is imperative to understand the implications of integrating AI into language testing. This knowledge will enable stakeholders to make well-informed decisions, thus safeguarding community well-being and testing integrity. To understand the concerns and effects of AI usage in language tests, we conducted interviews and surveys with English test-takers. To the best of our knowledge, this is the first empirical study aimed at identifying the implications of AI adoption in language tests from a test-taker perspective. Our study reveals test-taker perceptions and behavioral patterns. Specifically, we identify that AI integration may enhance perceptions of fairness, consistency, and availability. Conversely, it might incite mistrust regarding reliability and interactivity aspects, subsequently influencing the behaviors and well-being of test-takers. These insights provide a better understanding of potential societal implications and assist stakeholders in making informed decisions concerning AI usage in language testing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google