【速報】rinnaが日本語に特化した汎用言語モデルと対話言語モデルを無償公開　36億パラメータのGPT言語モデル

AI対話「りんな」で知られるりんな株式会社は、2種類のGPT言語モデルをオープンソースで公開したことを発表した。 日本語に特化した36億パラメータを持つ汎用言語モデルと対話言語モデルの2種類で、これらのモデル公開により、日本語言語モデルを活用した研究・開発をより発展させるために誰でも自由に活用できる。

日本語に特化した2種類のGPT言語モデル、その有用性

2018年にOpenAI社から提案されたGPT (Generative Pre-trained Transformer) は、高速な学習が可能な「Transformer」構造と大量のテキストを学習データとして利用できる「自己教師あり学習」によって、テキスト生成において技術的なブレイクスルーをもたらした。その後もGPTは進化を続け、OpenAI社が2022年にサービスを開始したChatGPTは一般のユーザーが広く利用するまでの技術革新となっている。

ChatGPTは、汎用GPT-3言語モデルに対して対話形式でユーザーの指示を遂行するタスクを実現するような「fine-tuning」と、生成されたテキストに対して人間の評価を再現する「報酬モデルのスコアを導入した強化学習」により構築される。

GPTのような大規模言語モデルを学習するためには、大量の計算資源が必要となり、誰でも気軽に学習できるわけではないため、多くの研究機関や企業が事前学習した大規模言語モデルをオープンソースで公開することで発展に貢献している。
しかし、オープンソースの大規模言語モデルは英語に特化していることが多く、日本語言語モデルの選択肢は十分にあるわけではないとされる。 rinnaはこれまでに日本語に特化した13億パラメータのGPTなどを公開し、多くの研究・開発者に利用されているが、この度、より利用の幅を広げられるよう「日本語に特化した36億パラメータを持つ汎用言語モデルと対話言語モデルの2種類のGPT言語モデル」をオープンソースで公開した。
これらのモデル公開により、日本語言語モデルを活用した研究・開発をより発展させるために誰でも自由に活用できる。

rinnaの36億パラメータの日本語GPT言語モデルの特徴

特定のドメイン特化ではない汎用GPT言語モデル (rinna/japanese-gpt-neox-3.6b) と、汎用GPT言語モデルを対話形式の指示遂行ドメインにfine-tuningした対話GPT言語モデル (rinna/japanese-gpt-neox-3.6b-instruction-sft) を学習し公開した。これらのモデルには以下の特徴がある。

・汎用言語モデルは、日本語のWikipedia ( https://huggingface.co/datasets/wikipedia target=”_blank” )・C4 ( https://huggingface.co/datasets/mc4 target=”_blank” )・CC-100 ( https://huggingface.co/datasets/cc100 target=”_blank” ) のオープンソースデータを用いて学習されている。

対話言語モデルは、HH-RLHF ( https://huggingface.co/datasets/Anthropic/hh-rlhf )・SHP ( https://huggingface.co/datasets/stanfordnlp/SHP )・FLAN ( https://github.com/google-research/FLAN ) の一部を日本語に翻訳したデータを用いて学習されている。

・汎用言語モデルのperplexityは8.68を達成。8.68 perplexityとは、GPTが次の単語を予測するときに単語の候補数を8.68に絞られていることを意味する。

・対話言語モデルのインターフェースは、対話形式を採用しユーザーが利用しやすいように設計。

・事前学習済みのモデルは、Hugging Faceに商用利用可能なMIT Licenseで公開されている。

・ユーザーは、2種類のモデルから利用者の目的に応じて最適なモデルを選択することができる。さらに、特定の利用目的に対して性能を最適化させたい場合には「fine-tuning」や「in-context learning」により精度向上を目指すことができる。

対話GPT言語モデルの会話活用例

対話GPT言語モデルの例は以下になる（「」が言語モデルへの入力テキスト、『』が生成されたテキスト）。

例1：

「ユーザー: 西田幾多郎とは誰ですか。

システム:」
『西田幾多郎は、哲学において日本の現代思想に大きな影響を与え、現代日本の哲学の最高の人物の一人とされています。彼は、日本の主要な現代哲学者の一人であり、また、現代日本の哲学において彼の影響力が広範であるとされる書籍「善の研究」の著者でもあります。』

例2：

「ユーザー: 日本のおすすめの観光地を教えてください。
システム: どの地域の観光地が知りたいですか？
ユーザー: 渋谷の観光地を教えてください。
システム:」

『分かりました。いくつかのおすすめを紹介します。
1. ハチ公像です。ハチ公像は、日本の観光スポットの1つとして人気があります。
2. スクランブル交差点です。多くの人々が行き交う大きな交差点で、観光客に人気のスポットです。
3. 109です。109は、ショッピングやエンターテイメント施設です。
4. 道玄坂です。道玄坂は、日本の商業地区である坂道です。』

rinnaが事前学習モデルを公開する理由

rinnaは「人とAIの共創世界」をビジョンに掲げ、人と人との間にAIが介在することによる豊かなコミュニケーションを通して、すべての人が自分らしい創造性を発揮できる社会の実現を目指している。このビジョンの実現に向けて、AIりんなをはじめとしたAIキャラクターと人のテキスト・音声・画像を介した新しいコミュニケーションの形を提供してきた。また、誰もが気軽にAIを使える世界を目指す「AIの民主化」という考え方に共感し、研究成果を積極的に発表・公開してきた。
これまでに日本語に特化したGPT・BERT・HuBERT・CLIP・Stable Diffusionなどテキスト・音声・画像に関する事前学習モデルを公開し、Hugging Faceでのモデルダウンロード数は累計160万を超え、多くの研究・開発者に利用されているという。

今後の展開

rinnaの研究チームが開発する大規模な事前学習モデルは、すでに自社製品に広く利用されている。今後もAIに関する研究を続け、研究成果は引き続き公開することで研究・開発コミュニティに還元していくとしている。また、他社との協業も進めることで、AIの社会実装の拡大を目指す。

rinna株式会社について

「人とAIの共創世界」(Co-creation world between humans and AI) をビジョンに掲げた AI企業です。テキスト・音声・画像・動画などの生成系AIモデルの研究開発や人工知能によるデータ分析が強み。研究成果である各種AI技術を活用し、パートナー企業とともにさまざまなビジネス課題を解決するソリューションの開発と提供に取り組んでいる。また、フラグシップAI「りんな」の技術をもとに生み出した、親しみの持てる多様性あふれる「AIキャラクター」を通して人とAIが共に生きる豊かな世界を目指す。

この記事を読んだ人におすすめ

関連する記事はまだありません