Dual input stream transformer for eye-tracking line assignment

要約

文章を読んでいる間に収集された視線追跡データから、読者が実際に注目していたテキスト行に注視点を割り当てるという難しい問題に対して、新しいデュアル入力ストリーム変換器 (DIST) を導入します。
垂直方向のドリフトの形でノイズが存在するため、この後処理ステップは読み取りデータの分析にとって重要です。
私たちは、9 つ​​の多様なデータセットからなる包括的なスイートに関する 9 つの古典的なアプローチに対して DIST を評価し、DIST の優位性を実証します。
DIST モデルの複数のインスタンスをアンサンブルで組み合わせることで、すべてのデータセットにわたって平均 98.5% の精度を達成します。
私たちのアプローチは、読書調査における手動行割り当てのボトルネックに対処するための重要な一歩を示しています。
広範なモデル分析とアブレーション研究を通じて、ラインオーバーラップ機能の組み込みや 2 番目の入力ストリームの使用など、DIST の成功に貢献する重要な要素を特定します。
一連の多様なデータセットの評価を通じて、DIST がさまざまな実験設定に対して堅牢であり、この分野の専門家にとって安全な最初の選択肢となることを実証しました。

要約(オリジナル)

We introduce a novel Dual Input Stream Transformer (DIST) for the challenging problem of assigning fixation points from eye-tracking data collected during passage reading to the line of text that the reader was actually focused on. This post-processing step is crucial for analysis of the reading data due to the presence of noise in the form of vertical drift. We evaluate DIST against nine classical approaches on a comprehensive suite of nine diverse datasets, and demonstrate DIST’s superiority. By combining multiple instances of the DIST model in an ensemble we achieve an average accuracy of 98.5\% across all datasets. Our approach presents a significant step towards addressing the bottleneck of manual line assignment in reading research. Through extensive model analysis and ablation studies, we identify key factors that contribute to DIST’s success, including the incorporation of line overlap features and the use of a second input stream. Through evaluation on a set of diverse datasets we demonstrate that DIST is robust to various experimental setups, making it a safe first choice for practitioners in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google