BrAIcht, a theatrical agent that speaks like Bertolt Brecht’s characters

要約

このプロジェクトは、有名なドイツの劇作家ベルトルト・ブレヒトの独特のスタイルで対話を作成するAI会話エージェントであるBraichtを紹介します。
Braichtは、70億パラメーターを備えた大規模な言語モデルと、ドイツ語の言語タスクに適したベースLlama2の修正バージョンを使用して、ドイツのレオムを使用して微調整されています。
微調整のために、ベルトルト・ブレヒトの29枚のベルトルト・ブレヒトと907のベルトルト・ブレヒトと様式的に類似した907は、より異なるデータセットを形成するために使用されます。
メモリ容量が限られているため、Qloraと呼ばれるパラメーター効率の良い微調整技術が実装され、大規模な言語モデルをトレーニングします。
BLEUスコアと困惑に基づいた結果は、Bertolt Brechtのスタイルで対話を生成する際にBraichtの非常に有望なパフォーマンスを示しています。

要約(オリジナル)

This project introduces BrAIcht, an AI conversational agent that creates dialogues in the distinctive style of the famous German playwright Bertolt Brecht. BrAIcht is fine-tuned using German LeoLM, a large language model with 7 billion parameters and a modified version of the base Llama2 suitable for German language tasks. For fine-tuning, 29 plays of Bertolt Brecht and 907 of other German plays that are stylistically similar to Bertolt Brecht are used to form a more di-erse dataset. Due to the limited memory capacity, a parameterefficient fine-tuning technique called QLoRA is implemented to train the large language model. The results, based on BLEU score and perplexity, show very promising performance of BrAIcht in generating dialogues in the style of Bertolt Brecht.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google