Tokenization Tractability for Human and Machine Learning Model: An Annotation Study

要約

【タイトル】人間と機械学習モデルのトークナイゼーション推定可能性：注釈付き研究

【要約】本研究は、人間にとって推定可能なトークナイゼーション（適切さと読みやすさなど）が、機械学習モデルにとっても推定可能かどうかを検証しています。日本の日常知識問題解決データセット（JGLUEのJCommmonsenseQA）上で6つのトークナイザーを比較し、異なるトークナイザーでQAデータセットの質問文をトークン化し、人間のアノテーターと機械学習モデルのパフォーマンスを比較しました。さらに、パフォーマンス、トークナイゼーションの適切さ、質問に対する応答時間などの関係性を分析しました。この論文では、推定可能なトークナイゼーションが人間と機械学習モデルにとって必ずしも同じでないことを示す定量的な調査結果を提供しています。

【要点】
– 人間にとって推定可能なトークナイゼーションと機械学習モデルにとってのトークナイゼーションは同一ではない可能性がある
– 6つのトークナイザーを比較して、日本語の日常知識問題解決データセット（JCommmonsenseQA）で質問文をトークン化した
– 人間のアノテーターと機械学習モデルのパフォーマンスを比較した
– パフォーマンス、適切さ、応答時間などの関係性を分析した
– 定量的な調査結果を提供して、推定可能なトークナイゼーションには人間と機械学習モデルの間で違いがある可能性があると示した

要約(オリジナル)

Is tractable tokenization for humans also tractable for machine learning models? This study investigates relations between tractable tokenization for humans (e.g., appropriateness and readability) and one for models of machine learning (e.g., performance on an NLP task). We compared six tokenization methods on the Japanese commonsense question-answering dataset (JCommmonsenseQA in JGLUE). We tokenized question texts of the QA dataset with different tokenizers and compared the performance of human annotators and machine-learning models. Besides,we analyze relationships among the performance, appropriateness of tokenization, and response time to questions. This paper provides a quantitative investigation result that shows the tractable tokenizations for humans and machine learning models are not necessarily the same as each other.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI