Can Large Language Models Code Like a Linguist?: A Case Study in Low Resource Sound Law Induction

要約

歴史言語学者は長い間、祖先言語で再構成された単語を、一連の順序付けされた文字列書き換え関数 (音声法則と呼ばれる) で構成される証明された子孫言語の 1 つの単語に変換する、ある種の不完全に形式化された「プログラム」を作成してきました。
彼らは、再構築された言語 (原形) と子孫の言語 (反射) の単語のペアを観察し、原形を反射に変換するプログラムを構築することによってこれを行います。
ただし、これらのプログラムの作成はエラーが発生しやすく、時間がかかります。
これまでの研究では、このプロセスを計算的に足場にすることに成功しましたが、健全な法則誘導 (SLI) に取り組んだ研究者はほとんどいません。この論文では、例によるプログラミングとしてこれにアプローチします。
私たちは、音声変化の例から Python 音声法則プログラムを生成することにより、大規模言語モデル (LLM) のプログラミング機能を利用する、言語に依存しないソリューションを提案します。
私たちは、さまざまな LLM に対するアプローチの有効性を評価し、追加の言語に依存しない合成データを生成して SLI 用に LLM を微調整するための効果的な方法を提案し、私たちの方法を既存の自動 SLI 方法と比較して、LLM は遅れているものの、一部を補完できることを示しています。
彼らの弱点について。

要約(オリジナル)

Historical linguists have long written a kind of incompletely formalized ”program” that converts reconstructed words in an ancestor language into words in one of its attested descendants that consist of a series of ordered string rewrite functions (called sound laws). They do this by observing pairs of words in the reconstructed language (protoforms) and the descendent language (reflexes) and constructing a program that transforms protoforms into reflexes. However, writing these programs is error-prone and time-consuming. Prior work has successfully scaffolded this process computationally, but fewer researchers have tackled Sound Law Induction (SLI), which we approach in this paper by casting it as Programming by Examples. We propose a language-agnostic solution that utilizes the programming ability of Large Language Models (LLMs) by generating Python sound law programs from sound change examples. We evaluate the effectiveness of our approach for various LLMs, propose effective methods to generate additional language-agnostic synthetic data to fine-tune LLMs for SLI, and compare our method with existing automated SLI methods showing that while LLMs lag behind them they can complement some of their weaknesses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google