Enriching Verbal Feedback from Usability Testing: Automatic Linking of Thinking-Aloud Recordings and Stimulus using Eye Tracking and Mouse Data

要約

思考音声メソッドは、ユーザビリティを最適化するための重要で一般的に使用されるツールです。
ただし、思考音声データの分析には時間がかかる場合があります。
この論文では、口頭プロトコルの自動分析を提案し、アイトラッキングとマウストラッキングを使用して口頭フィードバックと刺激の間のリンクをテストします。
取得したデータ (刺激の特定の領域に関連付けられたユーザー フィードバック) は、専門家が特定の Web ページ要素に関するフィードバックをレビューしたり、Web ページのどの部分にフィードバックが与えられたかを視覚化したりするために使用できます。
具体的には、参加者が言語化している Web ページのコンテンツを注視しているか、マウスでポイントしているかどうかをテストします。
テスト中、参加者には 3 つの Web サイトが表示され、口頭で意見を求められました。
目やカーソルの動きとともに、口頭での反応が記録されました。
ヒット率を比較しました。ヒット率は、口頭で言及された注目領域 (AOI) のうち、注視されたもの、またはマウスで指し示されたものの割合として定義されます。
その結果、マウスのデータと比較して視線のヒット率が大幅に高いことが明らかになりました。
さらなる調査により、マウスはスクロールするために主に受動的に使用される一方で、視線は関連する AOI に向けられることが多く、そのため話し言葉と刺激の間に強い関連性が確立されていることが明らかになりました。
したがって、視線追跡データは、マウスのデータと比較して、言語化に関するより詳細な情報とより貴重な洞察を提供する可能性があります。

要約(オリジナル)

The think aloud method is an important and commonly used tool for usability optimization. However, analyzing think aloud data could be time consuming. In this paper, we put forth an automatic analysis of verbal protocols and test the link between spoken feedback and the stimulus using eye tracking and mouse tracking. The gained data – user feedback linked to a specific area of the stimulus – could be used to let an expert review the feedback on specific web page elements or to visualize on which parts of the web page the feedback was given. Specifically, we test if participants fixate on or point with the mouse to the content of the webpage that they are verbalizing. During the testing, participants were shown three websites and asked to verbally give their opinion. The verbal responses, along with the eye and cursor movements were recorded. We compared the hit rate, defined as the percentage of verbally mentioned areas of interest (AOIs) that were fixated with gaze or pointed to with the mouse. The results revealed a significantly higher hit rate for the gaze compared to the mouse data. Further investigation revealed that, while the mouse was mostly used passively to scroll, the gaze was often directed towards relevant AOIs, thus establishing a strong association between spoken words and stimuli. Therefore, eye tracking data possibly provides more detailed information and more valuable insights about the verbalizations compared to the mouse data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google