Automatic Assessment of Divergent Thinking in Chinese Language with TransDis: A Transformer-Based Language Model Approach

要約

言語モデルは、創造性の自動評価にますます人気が高まっており、意味論的な距離を生成して創造的なアイデアの品質を客観的に測定します。
しかし、現在、中国語による創造的なアイデアを評価するための自動評価システムが不足しています。
このギャップに対処するために、私たちは、トランスフォーマーベースの言語モデルを使用したスコアリング システムである TransDis を開発しました。これは、中国語での代替利用タスク (AUT) の回答に対して有効な独創性 (品質) と柔軟性 (多様性) スコアを提供できます。
研究 1 では、3 つの変圧器ベースのモデルで構成される潜在的なモデル評価の独創性係数が人間の独創性評価を強く予測し、モデル評価の柔軟性が人間の柔軟性評価と強い相関があることを実証しました。
基準の妥当性分析では、モデルが評価した独創性と柔軟性が他の創造性の尺度と正の相関があることが示され、人間による評価と同様の妥当性が実証されました。
研究 2 と 3 では、TransDis が創造的な使用方法と一般的な用途を提供するよう指示された参加者 (研究 2)、および柔軟な方法と持続的な方法でアイデアを生み出すよう指示された参加者 (研究 3) を効果的に区別したことが示されました。
私たちの調査結果は、TransDis が中国語でのアイデアの独創性と柔軟性を測定するための信頼できる低コストのツールであり、他の言語での創造性の自動評価への道を開く可能性があることを示唆しています。
当社は、中国語およびその他の 50 以上の言語での AUT 応答の独自性と柔軟性を計算するためのオープン プラットフォームを提供しています (https://osf.io/59jv2/)。

要約(オリジナル)

Language models have been increasingly popular for automatic creativity assessment, generating semantic distances to objectively measure the quality of creative ideas. However, there is currently a lack of an automatic assessment system for evaluating creative ideas in the Chinese language. To address this gap, we developed TransDis, a scoring system using transformer-based language models, capable of providing valid originality (quality) and flexibility (variety) scores for Alternative Uses Task (AUT) responses in Chinese. Study 1 demonstrated that the latent model-rated originality factor, comprised of three transformer-based models, strongly predicted human originality ratings, and the model-rated flexibility strongly correlated with human flexibility ratings as well. Criterion validity analyses indicated that model-rated originality and flexibility positively correlated to other creativity measures, demonstrating similar validity to human ratings. Study 2 & 3 showed that TransDis effectively distinguished participants instructed to provide creative vs. common uses (Study 2) and participants instructed to generate ideas in a flexible vs. persistent way (Study 3). Our findings suggest that TransDis can be a reliable and low-cost tool for measuring idea originality and flexibility in Chinese language, potentially paving the way for automatic creativity assessment in other languages. We offer an open platform to compute originality and flexibility for AUT responses in Chinese and over 50 other languages (https://osf.io/59jv2/).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google