Why transformers are obviously good models of language

要約

言語がどのように機能するかは誰も知りませんが、多くの理論が存在します。
トランスフォーマーは、ニューラル計算に基づくものと、他の (たとえば、より記号的な) メカニズムに依存するものの両方の代替手段よりも、言語を自動的に処理するニューラル ネットワークのクラスです。
ここでは、変換器のアーキテクチャと言語に関する特定の理論的観点との間の直接的な関係に焦点を当てます。
代替モデルと比較したトランスフォーマーの経験的な成功は、トランスフォーマーが具体化する言語学的アプローチは、少なくとも言語学コミュニティによってより精査されて評価されるべきであり、せいぜい現在利用可能な最良の理論であると考えられるべきであるという状況証拠を提供します。

要約(オリジナル)

Nobody knows how language works, but many theories abound. Transformers are a class of neural networks that process language automatically with more success than alternatives, both those based on neural computations and those that rely on other (e.g. more symbolic) mechanisms. Here, I highlight direct connections between the transformer architecture and certain theoretical perspectives on language. The empirical success of transformers relative to alternative models provides circumstantial evidence that the linguistic approaches that transformers embody should be, at least, evaluated with greater scrutiny by the linguistics community and, at best, considered to be the currently best available theories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google