rinna、ChatGPTと同手法の「人間の評価を利用したGPT言語モデルの強化学習」に成功　日本語に特化した言語モデルを公開

rinna株式会社は「ChatGPT」の学習に利用されているものと同様の、「人間の評価を利用したGPT言語モデルの強化学習」に成功したことを発表した。そして強化学習済みの日本語に特化した対話GPT言語モデルを、オープンソースで公開した。

日本語に特化した生成系AIモデルを公開

rinnaはこれまで、日本語に特化した「GPT」「BERT」「HuBERT」「CLIP」「Stable Diffusion」など、テキスト・音声・画像に関する事前学習モデルを公開し、Hugging Faceでのモデルダウンロード数は累計160万を超え、多くの研究・開発者が利用しているという。

2018年にOpenAI社から提案されたGPT (Generative Pre-trained Transformer) は、高速な学習が可能なTransformer構造と大量のテキストを学習データとして利用できる自己教師あり学習により、テキスト生成において技術的なブレイクスルーをもたらした。
その後もGPTは進化を続け、OpenAI社が2022年にサービスを開始した「ChatGPT」は一般のユーザーが広く利用するまでの技術革新となっている。
ChatGPTは、汎用GPT-3言語モデルに対して、対話形式でユーザーの指示を遂行できるようにfine-tuningすることによりテキスト生成性能の改善と、人間とGPTによるコミュニケーションの利便性を向上させた。さらに、文章に対する人間の評価を再現する「報酬モデル」を導入し、その「報酬モデルから出力されるスコアを利用した強化学習」により、人間の価値観と合わせたテキスト生成を実現した。

GPTのような大規模言語モデルを学習するためには大量の計算資源が必要となり、誰でも気軽に学習できるわけではないため、多くの研究機関や企業が事前学習した大規模言語モデルをオープンソースで公開することで発展に貢献している。しかし、オープンソースの大規模言語モデルは英語に特化していることが多く、日本語言語モデルの選択肢や性能は十分とはいえない、と判断した。

rinnaは2023年5月17日に、日本語に特化した36億パラメータを持つ汎用言語モデルと対話言語モデルの2種類のGPT言語モデルをオープンソースで公開(関連記事「【速報】rinnaが日本語に特化した汎用言語モデルと対話言語モデルを無償公開　36億パラメータのGPT言語モデル」)。日本語言語モデルの選択の幅を広げた。しかし、公開した対話言語モデルでは、ChatGPTの学習パートの一部にあたる対話形式でユーザーの指示を遂行できるようなfine-tuningに留まり、人間の評価を利用した強化学習は実現できなかった。

そして今回の発表では、ChatGPTに用いられている学習手法である「人間の評価を利用したGPT言語モデルの強化学習」に成功した。強化学習済みの日本語に特化した36億パラメータを持つ対話GPT言語モデルについては、オープンソースで公開する。

同社は「このモデル公開することにより、日本語言語モデルを活用した研究・開発がより発展することを期待します」とコメントしている。

・強化学習済み対話GPT言語モデル：
https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-ppo

rinnaの日本語に特化した強化学習済み対話GPT言語モデルの特徴

・「36億パラメータを持つ汎用GPT言語モデル」 ( https://huggingface.co/rinna/japanese-gpt-neox-3.6b ) をベースに、「対話GPT言語モデルへのfine-tuning」 ( https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-sft-v2 ) と強化学習を行っている。

・強化学習には、「HH-RLHF」 ( https://huggingface.co/datasets/Anthropic/hh-rlhf ) の一部を日本語に翻訳したデータを用いている。

・強化学習済みのモデルは、Hugging Faceに商用利用可能なMIT Licenseで公開されている。

・特定の利用目的に対して性能を最適化させたい場合には、fine-tuningやin-context learningにより精度向上を目指すことができる。

・強化学習済みと強化学習前の対話GPT言語モデルの性能を、人間による評価とChatGPTによる自動評価で比較した。人間による評価では、強化学習済みの返答が良いが47%、差がないが31%、悪いが22%となり、ChatGPTによる自動評価では、強化学習済みの返答が良いが63%、差がないが3%、悪いが34%となった。両評価手法で、人間の評価を利用した強化学習による性能向上が確認された。

今後の展開

ChatGPTの登場により、テキスト生成の技術を気軽に利用することが可能となったが、特定のタスクに特化したテキスト生成・低コスト化・セキュリティ強化のためには、利用目的に則した独自の言語モデルの開発が必要となってくる。これまでにrinnaでは「大規模言語モデルの学習」「fine-tuning」「in-context learning」などの実験を通して、いくつもの独自言語モデルを開発してきた。

そして今回の人間の評価を用いた強化学習の成功により、人間の価値観や目的に合ったテキスト生成も可能となったという。今後は、より大規模な言語モデルへの適用と軽量・高速・高性能な言語モデルの検討の両側面で研究・開発を続けていく考えだ。
また、AIの社会実装を進めるためにパートナーを広く募り、rinnaの技術を活用していくとしている。

誰もが気軽にAIを使える世界を目指す

rinnaは「人とAIの共創世界」をビジョンに掲げ、人と人との間にAIが介在することによる豊かなコミュニケーションを通して、すべての人が自分らしい創造性を発揮できる社会の実現を目指している。このビジョンの実現に向けて「AIりんな」をはじめとしたAIキャラクターと人のテキスト・音声・画像を介した新しいコミュニケーションの形を提供してきた。
また、誰もが気軽にAIを使える世界を目指す「AIの民主化」という考え方に共感し、研究成果を積極的に発表・公開している。

この記事を読んだ人におすすめ

関連する記事はまだありません