BatGPT: A Bidirectional Autoregessive Talker from Generative Pre-trained Transformer

要約

BatGPT は、武漢大学と上海交通大学が共同で設計、訓練した大規模な言語モデルです。
テキスト プロンプト、画像、音声などのさまざまな種類の入力に応じて、非常に自然で流暢なテキストを生成できます。
モデリング レベルでは、双方向自己回帰アーキテクチャを採用しています。これにより、モデルが自然言語の複雑な依存関係を効率的に把握できるようになり、言語生成、対話システム、質問応答などのタスクで非常に効果的になります。
さらに、双方向自己回帰モデリングは左から右だけでなく右から左にも作用し、固定記憶効果を効果的に軽減し、モデルの幻覚を軽減します。
トレーニングの側面では、より小さなモデルの事前トレーニングを活用するための新しいパラメータ拡張方法を提案し、モデルの位置合わせパフォーマンスを向上させることを目的として、AI と人間のフィードバックの両方からの強化学習を採用します。
全体として、これらのアプローチにより BatGPT の有効性が大幅に向上し、このモデルは幅広い自然言語アプリケーションに利用できます。

要約(オリジナル)

BatGPT is a large-scale language model designed and trained jointly by Wuhan University and Shanghai Jiao Tong University. It is capable of generating highly natural and fluent text in response to various types of input, including text prompts, images, and audio. In the modeling level, we employ a bidirectional autoregressive architecture that allows the model to efficiently capture the complex dependencies of natural language, making it highly effective in tasks such as language generation, dialog systems, and question answering. Moreover, the bidirectional autoregressive modeling not only operates from left to right but also from right to left, effectively reducing fixed memory effects and alleviating model hallucinations. In the training aspect, we propose a novel parameter expansion method for leveraging the pre-training of smaller models and employ reinforcement learning from both AI and human feedback, aimed at improving the model’s alignment performance. Overall, these approaches significantly improve the effectiveness of BatGPT, and the model can be utilized for a wide range of natural language applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google