Text-to-Image Generation for Vocabulary Learning Using the Keyword Method

要約

「キーワード方法」は、外国語の語彙を学ぶための効果的な手法です。
それには、単語が意味するものと外国語でのその発音が学習者の母国語のように聞こえるものとの間に記憶に残る視覚的なリンクを作成することが含まれます。
しかし、これらの記憶に残る視覚的なリンクは、人々の心に暗黙的であり、大きな言葉のセットを覚えておくのは簡単ではありません。
記憶と語彙のリコールを強化するために、キーワードメソッドとテキストから画像のジェネレーターを組み合わせて、記憶に残るビジュアルリンクをビジュアルに外部化するアプリケーションを開発しました。
これらの視覚は、記憶プロセス中の追加の刺激を表しています。
このアプローチの有効性を調査するために、最初にパイロット研究を実行して、参加者に書き留めを求めることにより、記憶に残るリンクの精神的視覚化の説明を外部化することがどれほど難しいかを調査します。
これらの説明をテキストから画像のジェネレーター（Dall-E2）のプロンプトとして使用して画像に変換し、参加者にお気に入りを選択するように依頼しました。
次に、さまざまなテキスト間発電機（Dall-E2、Midjourney、StableおよびLatent拡散）を比較して、それぞれが生成された画像の知覚品質を評価しました。
不均一な結果にもかかわらず、参加者は主にDall-E2によって生成された画像を好みました。これは最終研究にも使用されました。
この研究では、そのような画像を提供することで、キーワードメソッドのみと比較して、語彙の保持が強化されるかどうかを調査しました。
私たちの結果は、人々が記憶に残るリンクの視覚化を説明する困難に遭遇しなかったこと、および対応する画像を提供することでメモリ保持が大幅に改善することを示しています。

要約(オリジナル)

The ‘keyword method’ is an effective technique for learning vocabulary of a foreign language. It involves creating a memorable visual link between what a word means and what its pronunciation in a foreign language sounds like in the learner’s native language. However, these memorable visual links remain implicit in the people’s mind and are not easy to remember for a large set of words. To enhance the memorisation and recall of the vocabulary, we developed an application that combines the keyword method with text-to-image generators to externalise the memorable visual links into visuals. These visuals represent additional stimuli during the memorisation process. To explore the effectiveness of this approach we first run a pilot study to investigate how difficult it is to externalise the descriptions of mental visualisations of memorable links, by asking participants to write them down. We used these descriptions as prompts for text-to-image generator (DALL-E2) to convert them into images and asked participants to select their favourites. Next, we compared different text-to-image generators (DALL-E2, Midjourney, Stable and Latent Diffusion) to evaluate the perceived quality of the generated images by each. Despite heterogeneous results, participants mostly preferred images generated by DALL-E2, which was used also for the final study. In this study, we investigated whether providing such images enhances the retention of vocabulary being learned, compared to the keyword method only. Our results indicate that people did not encounter difficulties describing their visualisations of memorable links and that providing corresponding images significantly improves memory retention.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google