Predictive Authoring for Brazilian Portuguese Augmentative and Alternative Communication

要約

複雑なコミュニケーション ニーズ (CCN) を持つ個人は、会話をしたり、自分の要望を伝えたりするために、拡張代替コミュニケーション (AAC) システムに依存することがよくあります。
このようなシステムでは、ピクトグラムを順番に配置することでメッセージを作成できます。
ただし、ユーザーの語彙が増えるにつれて、目的の項目を見つけて文を完成させることが難しくなる可能性があります。
この論文では、AAC システムでの絵文字予測に BERT のブラジルポルトガル語版である BERTimbau を使用することを提案します。
BERTimbau を微調整するために、ブラジル系ポルトガル語がトレーニング コーパスとして使用できるように AAC コーパスを構築しました。
私たちは、予測用のピクトグラムを表現するためのさまざまなアプローチをテストしました。単語として (ピクトグラムのキャプションを使用)、概念として (辞書の定義を使用)、同義語のセットとして (関連用語を使用) です。
また、ピクトグラム予測のための画像の使用についても評価しました。
この結果は、ピクトグラムのキャプション、同義語、または定義から計算された埋め込みを使用すると、同様のパフォーマンスが得られることを示しています。
同義語を使用すると混乱が少なくなりますが、キャプションを使用すると精度が最も高くなります。
このペーパーでは、BERT のようなモデルを使用して予測用のピクトグラムを表現する方法と、ピクトグラム予測に画像を使用する可能性についての洞察を提供します。

要約(オリジナル)

Individuals with complex communication needs (CCN) often rely on augmentative and alternative communication (AAC) systems to have conversations and communique their wants. Such systems allow message authoring by arranging pictograms in sequence. However, the difficulty of finding the desired item to complete a sentence can increase as the user’s vocabulary increases. This paper proposes using BERTimbau, a Brazilian Portuguese version of BERT, for pictogram prediction in AAC systems. To finetune BERTimbau, we constructed an AAC corpus for Brazilian Portuguese to use as a training corpus. We tested different approaches to representing a pictogram for prediction: as a word (using pictogram captions), as a concept (using a dictionary definition), and as a set of synonyms (using related terms). We also evaluated the usage of images for pictogram prediction. The results demonstrate that using embeddings computed from the pictograms’ caption, synonyms, or definitions have a similar performance. Using synonyms leads to lower perplexity, but using captions leads to the highest accuracies. This paper provides insight into how to represent a pictogram for prediction using a BERT-like model and the potential of using images for pictogram prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google