Ensemble Kalman filter for uncertainty in human language comprehension

要約

人工ニューラルネットワーク（ANN）は、文処理のモデリングに広く使用されていますが、多くの場合、曖昧または予期しない入力中に不確実性を管理する人間の文の理解とは対照的に決定論的な行動を示します。
これは、Sente Gestalt（SG）モデルなどの従来のANNモデルの制限に挑戦する予期せぬ役割反転と、予期しない役割の逆転を伴う反転の異常の象徴によって例示されます。
これらの制限に対処するために、文の理解のためのベイジアンフレームワークを提案し、不確実性を定量化するためにベイジアン推論のためにアンサンブルカルマンフィルター（ENKF）の拡張を適用します。
言語の理解をベイジアンの逆問題としてフレーミングすることにより、このアプローチは、不確実性の表現に関して人間の文処理を反映するSGモデルの能力を高めます。
数値実験と最尤推定（MLE）との数値実験と比較は、ベイジアンの方法が不確実性の表現を改善し、モデルが言語のあいまいさを扱うときに人間の認知処理をよりよく近似できるようにすることを示しています。

要約(オリジナル)

Artificial neural networks (ANNs) are widely used in modeling sentence processing but often exhibit deterministic behavior, contrasting with human sentence comprehension, which manages uncertainty during ambiguous or unexpected inputs. This is exemplified by reversal anomalies-sentences with unexpected role reversals that challenge syntax and semantics-highlighting the limitations of traditional ANN models, such as the Sentence Gestalt (SG) Model. To address these limitations, we propose a Bayesian framework for sentence comprehension, applying an extension of the ensemble Kalman filter (EnKF) for Bayesian inference to quantify uncertainty. By framing language comprehension as a Bayesian inverse problem, this approach enhances the SG model’s ability to reflect human sentence processing with respect to the representation of uncertainty. Numerical experiments and comparisons with maximum likelihood estimation (MLE) demonstrate that Bayesian methods improve uncertainty representation, enabling the model to better approximate human cognitive processing when dealing with linguistic ambiguities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google