Adapting Large Language Models for Character-based Augmentative and Alternative Communication

要約

拡張および代替コミュニケーション（AAC）のユーザーは、文字言語モデルを使用するインターフェイスを介して文字ごとに書くことができます。
ただし、ほとんどの最先端の大規模な前提条件モデルは、可変長のサブワードトークンを予測します。
このようなモデルを実際に使用して、正確で効率的なキャラクターの予測を行う方法を調査します。
私たちは、AAC通信の書かれたものや書かれた通信にどの程度有用であるかに従って、各文が評価される文章の大規模なデータセットを使用してモデルを微調整します。
アルゴリズムを使用してサブワードの大手言語モデルから文字予測を生成することは、分類レイヤーを追加したり、バイトレベルモデルを使用したりするよりも、より正確な予測を提供することがわかります。
また、当社のドメイン適応手順は、単純な会話テキストのモデルパフォーマンスを改善するのに効果的であることがわかります。

要約(オリジナル)

Users of Augmentative and Alternative Communication (AAC) may write letter-by-letter via an interface that uses a character language model. However, most state-of-the-art large pretrained language models predict subword tokens of variable length. We investigate how to practically use such models to make accurate and efficient character predictions. We fine-tune models using a large dataset of sentences we curated in which each sentence is rated according to how useful it might be for spoken or written AAC communication. We find that using an algorithm to produce character predictions from a subword large language model provides more accurate predictions than adding a classification layer or using a byte-level model. We also find that our domain adaptation procedure is effective at improving model performance on simple, conversational text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google