Generative Input: Towards Next-Generation Input Methods Paradigm

要約

ChatGPT のリリース以来、生成モデルは大きな成功を収め、さまざまな NLP タスクに対する事実上のアプローチとなっています。
ただし、入力方法の分野での応用はまだ研究されていません。
多くのニューラル ネットワーク アプローチが中国語入力メソッド エンジン (IME) の構築に適用されてきました。これまでの研究では、入力ピンインが正しいと想定され、ピンインから文字への変換 (P2C) タスクに焦点を当てていることが多く、ユーザーの要求を満たすには大幅に足りませんでした。
要求します。
さらに、以前の研究では、ユーザーのフィードバックを活用してモデルを最適化し、パーソナライズされた結果を提供することができませんでした。
この研究では、GeneInput という名前の新しい生成入力パラダイムを提案します。
プロンプトを使用してすべての入力シナリオとその他のインテリジェントな補助入力機能を処理し、ユーザーのフィードバックでモデルを最適化し、パーソナライズされた結果を提供します。
結果は、フルモードの Key-sequence to Characters(FK2C) タスクにおいて、初めて最先端のパフォーマンスを達成したことを示しています。
私たちは、追加の手動アノテーションの必要性を排除し、インテリジェントな関連付けと会話支援を含むタスクにおいて GPT-4 を超えるパフォーマンスを実現する、新しい報酬モデル トレーニング方法を提案します。
従来のパラダイムと比較して、GeneInput は優れたパフォーマンスを示すだけでなく、強化された堅牢性、拡張性、およびオンライン学習機能も示します。

要約(オリジナル)

Since the release of ChatGPT, generative models have achieved tremendous success and become the de facto approach for various NLP tasks. However, its application in the field of input methods remains under-explored. Many neural network approaches have been applied to the construction of Chinese input method engines(IMEs).Previous research often assumed that the input pinyin was correct and focused on Pinyin-to-character(P2C) task, which significantly falls short of meeting users’ demands. Moreover, previous research could not leverage user feedback to optimize the model and provide personalized results. In this study, we propose a novel Generative Input paradigm named GeneInput. It uses prompts to handle all input scenarios and other intelligent auxiliary input functions, optimizing the model with user feedback to deliver personalized results. The results demonstrate that we have achieved state-of-the-art performance for the first time in the Full-mode Key-sequence to Characters(FK2C) task. We propose a novel reward model training method that eliminates the need for additional manual annotations and the performance surpasses GPT-4 in tasks involving intelligent association and conversational assistance. Compared to traditional paradigms, GeneInput not only demonstrates superior performance but also exhibits enhanced robustness, scalability, and online learning capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google