楽天が日本語に最適化したオープンかつ高性能な大規模言語モデルを公開　楽天の公式「Hugging Face」リポジトリからDL可能

2024年3月21日 By ロボスタ編集部

　楽天は、日本語に最適化した高性能の大規模言語モデル（LLM）の基盤モデル「Rakuten AI 7B」（「本基盤モデル」）と、同モデルを基にしたインストラクションチューニング済モデル「Rakuten AI 7B Instruct」（「本インストラクションチューニング済モデル」）、インストラクションチューニング済モデルを基にファインチューニングを行ったチャットモデル「Rakuten AI 7B Chat」をオープンなモデルとして、2024年3月21日公開した。

開発の背景

「Rakuten AI 7B」は、フランスのAIスタートアップであるMistral AI社のオープンモデル「Mistral-7B-v0.1」を基に、継続的に大規模なデータを学習させて開発された70億パラメータの日本語基盤モデル。本基盤モデルの事前学習は、楽天が設計した内製のマルチノードGPUクラスターで拡張的に行われ、大規模で複雑なデータを使用した事前学習プロセスを高速で実現可能となった。

また「Rakuten AI 7B Chat」は、「Rakuten AI 7B Instruct」を基にしたチャットモデルで、会話形式の文章生成のためのチャットデータを用いてファインチューニングされている。

なお、上記の全3モデルは、Apache 2.0ライセンスで提供されており、楽天の公式「Hugging Face」リポジトリからダウンロードが可能となっている。

楽天のLLMの特徴

1：高品質データでの事前学習により高性能を実現

公開されたLLMは「Mistral-7B-v0.1」を基に、インターネット上に存在する膨大な日本語と英語のデータによって事前学習を繰り返しおこなっている。事前学習に使用したデータは、与えられた条件に従ってデータを選別および抽出を行う内製のフィルタリング機能と、関連情報をデータにメタデータとして付与するアノテーション作業によって質を向上させており、楽天のLLMの性能の高さに貢献している。

2：日本語の言語に最適化された形態素解析器により高い効率性が可能

公開されたLLMは、日本語の言語に最適化された独自の形態素解析器を使用。一般的に形態素解析器は自然言語で書かれている文章を適切な単位に細分化して分析することができる。楽天の形態素解析器においては、文章の分割単位であるトークンあたりの文字数が増加し、その結果、より多くの情報を単一のトークンに含めることができる。そのため、従来の形態素解析器と比較して、事前学習や推論のテキスト処理をより効率的に行えるようになった。

3：オープンな日本語LLMにおいてトップの評価を獲得

本基盤モデルと本インストラクションチューニング済モデルは、言語モデル評価ツール「LM Evaluation Harness」の基準において、日本語と英語のLLMの高いパフォーマンスが評価され、高性能であることが実証された。

日本語の評価では、本基盤モデルが平均69.8ポイント、本インストラクションチューニング済モデルが平均77.3ポイントのスコアを獲得、英語の評価では、本基盤モデルが平均60.5ポイント、本インストラクションチューニング済モデルが平均61.3ポイントのスコアを獲得し、オープンな日本語LLMにおいて、大変優れたモデルとなっている。

なお、全3モデルは、文章の要約や質問応答、一般的な文章の理解、対話システムの構築など、様々なテキスト生成タスクにおいて商用目的で使用することができるほか、本基盤モデルは他のモデルの基盤としても利用が可能となっている。

楽天CDO ティン・ツァイ氏のコメント

　楽天のCDO （Chief Data Officer）のティン・ツァイ氏は、楽天のLLMに関して次のようにコメントしている。

楽天 CDO ティン・ツァイ氏

楽天は、お客様の課題を解決するためにテクノロジーを駆使して最適なツールを活用したいと考えています。楽天は、多様なAIモデルや、長年にわたって独自に開発を続けてきたデータサイエンス、機械学習モデルなど、幅広いポートフォリオを保有しています。そのため、コストや品質、性能の面で様々な顧客ニーズを解決するための最適なツールが提供可能です。このたび、大規模な日本語の言語基盤モデル『Rakuten AI 7B』の開発を通じて、楽天が得た知見をオープンソースコミュニティと共有し、日本語LLMのさらなる開発と発展に貢献できることを楽しみにしています

今後について

LLMは、昨今のAI革命を引き起こした生成AIを支える中核のテクノロジーである。楽天は、現在のLLMを研究目的で開発しており、顧客に最高のサービスを提供するため、今後も様々な選択肢を評価検討おこなっていく。

また、社内においてモデル開発することで、LLMの知識と専門性を高め、楽天エコシステム（経済圏）をサポートするための最適化されたモデル作成を目指していく。さらに楽天はオープンソースコミュニティへの貢献を目指し、本LLMをオープンなモデルとして提供することで、国内外におけるAIのさらなる発展を後押ししするとしている。

楽天は、AI化を意味する造語「AI-nization（エーアイナイゼーション）」をテーマに掲げ、さらなる成長に向けてビジネスのあらゆる面でAIの活用を推進する取り組みをしており、今後も豊富なデータと最先端のAI技術の活用を通じて、世界中の人々へ新たな価値創出を目指す。