Reasoning Over the Glyphs: Evaluation of LLM’s Decipherment of Rare Scripts

要約

Unicodeでエンコードされていないまれなスクリプトを解読する際に、LVLMSとLLMの機能を調査します。
言語グリフのトークン化方法を利用して、そのようなスクリプトを含む言語パズルのマルチモーダルデータセットを構築するための新しいアプローチを紹介します。
私たちの方法には、LVLMSの画像方法とLLMSの説明方法が含まれており、これらのモデルがこれらの課題に取り組むことができます。
著名なモデル、GPT-4O、Gemini、およびClaude 3.5 Sonnetを使用して、言語パズルで実験を行います。
私たちの調査結果は、言語解読における現在のAIメソッドの強みと制限を明らかにし、モデルのパフォーマンスに対するユニコードエンコードの影響と、説明を通して視覚言語トークンをモデリングする課題を強調しています。
私たちの研究は、言語解読におけるAIの可能性の理解を進め、さらなる研究の必要性を強調しています。

要約(オリジナル)

We explore the capabilities of LVLMs and LLMs in deciphering rare scripts not encoded in Unicode. We introduce a novel approach to construct a multimodal dataset of linguistic puzzles involving such scripts, utilizing a tokenization method for language glyphs. Our methods include the Picture Method for LVLMs and the Description Method for LLMs, enabling these models to tackle these challenges. We conduct experiments using prominent models, GPT-4o, Gemini, and Claude 3.5 Sonnet, on linguistic puzzles. Our findings reveal the strengths and limitations of current AI methods in linguistic decipherment, highlighting the impact of Unicode encoding on model performance and the challenges of modeling visual language tokens through descriptions. Our study advances understanding of AI’s potential in linguistic decipherment and underscores the need for further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google