Evaluating Transformer Models and Human Behaviors on Chinese Character Naming

要約

ニューラル ネットワーク モデルは、多くのアルファベット言語における人間の書記素音素マッピング プロセスを説明するために提案されています。
これらのモデルは、文字列とその発音の対応をうまく学習しただけでなく、ノンス単語の命名タスクにおける人間の行動も捉えました。
ニューラル モデルは、アルファベット以外の言語 (中国語など) の未知の文字タスクに対してどのように機能しますか?
モデルは人間の行動をどの程度うまく捉えますか?
この研究では、一連の変圧器モデルを評価し、それらのパフォーマンスを、未知の漢字命名タスクでの人間の行動と比較します。
モデルと人間は非常によく似た行動をとっており、各キャラクターの精度分布が似ており、回答がかなり重複していることがわかりました。
さらに、モデルの回答は人間の回答と高い相関関係にあります。
これらの結果は、トランスフォーマーモデルが人間のキャラクターの命名行動をうまく捉えることができることを示唆しています。

要約(オリジナル)

Neural network models have been proposed to explain the grapheme-phoneme mapping process in humans for many alphabet languages. These models not only successfully learned the correspondence of the letter strings and their pronunciation, but also captured human behavior in nonce word naming tasks. How would the neural models perform for a non-alphabet language (e.g., Chinese) unknown character task? How well would the model capture human behavior? In this study, we evaluate a set of transformer models and compare their performances with human behaviors on an unknown Chinese character naming task. We found that the models and humans behaved very similarly, that they had similar accuracy distribution for each character, and had a substantial overlap in answers. In addition, the models’ answers are highly correlated with humans’ answers. These results suggested that the transformer models can well capture human’s character naming behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google