Harmonic Reasoning in Large Language Models

要約

大規模言語モデル (LLM) は非常に人気があり、芸術における創造的なタスクを含むさまざまな目的で使用されています。
ただし、これらのモデルは、特定の推論タスク、特に論理的思考や計算を伴うタスクで問題が発生することがあります。
この論文では、音程から音を割り出す、コードとスケールを識別するなどの音楽タスクを扱う際に、LLM がどの程度理解して推論できるかについて考察します。
私たちは GPT-3.5 と GPT-4o をテストして、これらのタスクがどのように処理されるかを確認しました。
私たちの結果は、LLM は音符の間隔についてはうまく機能しますが、コードやスケールの認識など、より複雑なタスクには苦労していることを示しています。
これは、現在の LLM 能力の明確な限界を指摘し、どこを改善する必要があるかを示しています。これは、芸術分野とその他の複雑な分野の両方で、彼らの考え方や取り組み方を改善するのに役立つ可能性があります。
また、説明されているタスク用に自動生成されたベンチマーク データ セットも提供します。

要約(オリジナル)

Large Language Models (LLMs) are becoming very popular and are used for many different purposes, including creative tasks in the arts. However, these models sometimes have trouble with specific reasoning tasks, especially those that involve logical thinking and counting. This paper looks at how well LLMs understand and reason when dealing with musical tasks like figuring out notes from intervals and identifying chords and scales. We tested GPT-3.5 and GPT-4o to see how they handle these tasks. Our results show that while LLMs do well with note intervals, they struggle with more complicated tasks like recognizing chords and scales. This points out clear limits in current LLM abilities and shows where we need to make them better, which could help improve how they think and work in both artistic and other complex areas. We also provide an automatically generated benchmark data set for the described tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google