On-Device Emoji Classifier Trained with GPT-based Data Augmentation for a Mobile Keyboard

要約

絵文字は、モバイルキーボードを使用してテキストを交換するスマートフォンユーザー間の通信品質を向上させます。
入力テキストに基づいてユーザーの絵文字を予測するには、オンデバイスの低いメモリと時間の制約を検討し、絵文字データセットが通常不均衡であるにもかかわらず、デバイス上の絵文字分類器が幅広い絵文字クラスをカバーしていることを確認する必要があります。
ユーザーのお気に入りへの絵文字分類器出力。
このペーパーでは、SwiftKeyの合理的なメモリとレイテンシー要件を備えたMobileBertに基づくデバイス上の絵文字分類を提案します。
データの不均衡を説明するために、広く使用されているGPTを利用して、絵文字クラスごとに1つ以上のタグを生成します。
絵文字と対応するタグごとに、元のセットをGPT生成文とマージし、データの不均衡を軽減するために人間の介入なしにこの絵文字にラベルを付けます。
推論時に、絵文字分類のために絵文字のユーザー履歴と絵文字の出力を補間します。
結果は、SwiftKeyのために展開された提案されたオンデバイス絵文字分類器が、特にまれな絵文字と絵文字のエンゲージメントで絵文字予測の精度パフォーマンスを向上させることを示しています。

要約(オリジナル)

Emojis improve communication quality among smart-phone users that use mobile keyboards to exchange text. To predict emojis for users based on input text, we should consider the on-device low memory and time constraints, ensure that the on-device emoji classifier covers a wide range of emoji classes even though the emoji dataset is typically imbalanced, and adapt the emoji classifier output to user favorites. This paper proposes an on-device emoji classifier based on MobileBert with reasonable memory and latency requirements for SwiftKey. To account for the data imbalance, we utilize the widely used GPT to generate one or more tags for each emoji class. For each emoji and corresponding tags, we merge the original set with GPT-generated sentences and label them with this emoji without human intervention to alleviate the data imbalance. At inference time, we interpolate the emoji output with the user history for emojis for better emoji classifications. Results show that the proposed on-device emoji classifier deployed for SwiftKey increases the accuracy performance of emoji prediction particularly on rare emojis and emoji engagement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google