オルツが数兆パラメータ規模の大規模言語モデル(LLM)構築に着手　ユースケースから逆算、世界最高峰の速度とコスパを追求

オルツは、数兆パラメータ超規模の大規模言語モデル（LLM）の構築に着手したことを発表した。

オルツは約10年間、自然言語処理を含む領域で研究開発を行ってきた。また、早い段階からLLMの研究・開発・運用を手掛けてきており、実際のビジネスシーンや実生活におけるユースケースから逆算したLLM設計・構築が肝要であると考えているとのこと。

今回の数兆パラメータ超規模のLLM開発は、単にパラメータ数を膨大にするだけではなく、生成AIのエンドユースケースから逆算した目標であり、パラメータ数に加えて、スピードと計算効率、コストパフォーマンスという実運用時に重要となる指標でも世界最高峰レベルを目指す。
また、オルツは本開発を通して、すでに展開している生成AIプロダクト群をより費用対効果の高いサービスとしてエンドユーザーに提供すること、ならびに、グローバルに先駆けた日本発の生成AIのエンドユースケースの確立を目指すとしている。

足許のLLM競争に対する課題・対策意識

オルツは、LLM開発において、より複雑な表現力と高度なカスタマイズ性の両面を追求している。

デベロッパー及びエンドユーザー両方の観点から、GPTなどの既存モデルを超える使いやすさを実現するため、数兆パラメータ規模を持ち、日本語に優位なモデルの構築を構想してきた。LLMでは、スケーリング則の元となる「パラメータ数」「データ量」「計算量」に加えて、スピードとコストのバランスを取ることが重要であり、オルツは、これらを適切に管理しながら、ユーザーにとって実用的なサービスを提供していく考えだ。

1：パラメータ数

より高度で複雑な表現力を目指すために多パラメータ（数兆規模）のモデル開発と、実用性を兼ね備えた軽量・高速モデルの開発の両面が鍵となる。

2：データ量

ノイズ混じりのデータではスケーリング則が効かなくなってきて、同じような種類のデータを増やしていても飽和状態となる。よってより質の高いデータをいかに投入するかが鍵となり、高品質な事前学習データ及びバリエーションに富んだインストラクションデータの投入による精度向上の実績とノウハウ、またデータ作成人員の教育で競争力を持つ必要がある。

3：計算量

計算資源の枯渇と高コストという大きな課題に直面している。

特にエンタープライズ向けGPUの不足とクラウドリソースの価格高騰が課題で、これらの問題を解決するために、オルツは分散コンピューティング基盤を活用し、世界中のGPU資源を効率的に利用することを目指している（EMETHプロジェクト）。この取り組みは、計算資源の流動性を改善し、誰もが簡単に高度なAI技術を利用できる世界を実現することを目標としている。

オルツの目指すLLMの方向性　～意外と見過ごされるスピードとコストの重要性～

LLMの開発では、モデルのパラメータ数を増やすことで精度や表現力が向上することは確かだが、それだけでは実用性に欠ける場合がある。

例えば、1プロンプトに対して30分もの時間がかかるようなモデルでは、ユーザー体験が損なわれ、実際には誰も利用しないので、リアルタイムでの反応速度が求められている。また、1プロンプトあたり1万円もかかるようなモデルでは誰も利用しない。

サービスとしての反応速度を実用的なレベルに保つには、単にLLMの処理能力を高めるだけでは不十分であり、ハードウェアレベルでの最適化、例えばLLM特化チップの採用などが必要となる。さらに、APIとしての高速化アーキテクチャの構築、通信技術基盤、分散化技術を用いた可用性の向上など、ソフトウェア面での工夫も欠かせない。また、ネットワークレイテンシーの問題を克服するためには、クラウドだけでなく、エッジ側（端末側）での処理を活用した高速化も重要です。これにより、ユーザーの要求に即時に応答できるシステムを構築することが可能となる。

つまり、LLMの競争においては、モデルの精度や表現力の向上だけでなく、スピードとコストのバランスを取ることが重要であり、これらを適切に管理しながら、ユーザにとって実用的なサービスを提供することが求められている。

根底にあるLLM/GPUのエネルギー問題

加えて、LLMの運用とGPUリソースの使用は、大量の電力を消費する。

このエネルギー問題は、環境への影響だけでなく、運用コストにも大きく関わり、特にLLMのトレーニングや推論には膨大な計算量が必要で、これを支えるGPUリソースは多くのエネルギーが必要となる。

地理的な電気代の差異を考慮すると、電力コストが比較的低い地域でのデータセンターの運用が経済的だ。このため、リソースの地理的分散化は、エネルギーコストを削減する有効な戦略となる。しかし、これにはデータ転送の遅延や、特定地域の法規制などの課題も伴う。

一方で、すべてをサーバー側で処理するのではなく、エッジ側（端末側）での処理を行うことによる消費エネルギーの分散も重要だ。エッジコンピューティングにより、データ転送の量を減らし、応答時間を短縮することができるので、サーバー側の負担を軽減することで、全体的なエネルギー消費を削減することが可能となる。また、エッジデバイスの進化により、より高度な処理を端末側で行えるようになることも、このアプローチの可能性を広げることができる。

総じて、LLMとGPUリソースのエネルギー問題に対処するには、電力コストの低い地域へのリソース分散化と、エッジコンピューティングを活用した消費エネルギーの分散が有効な戦略となり、これにより環境への影響を減らしつつ、運用コストの削減を図ることが可能となる。

上述の課題意識と現状を踏まえ、当社は、エンドユースケースの最適化を実現するために重要な「クオリティ」「スピード」「コスト」に対して、オルツは以下の取り組みを加速するとしている。

・学習データ（学習トークン）の大規模な構築
・インストラクションデータの構築と自動化
・プロンプトエンジニアリングの自動化
・既存モデルの改良に資する生涯学習、メタ認知の研究加速
　（モデルのリアルタイム継続学習）
・軽量モデルによる大規模モデル同様の出力再現（知的蒸留）に資する研究加速
・量子化導入による推論効率化
・メタ認知プロセス導入による推論精度と品質の向上
・LLM 特化チップ（TPU, LPU, NPU）の研究開発
・日本語に関するRAGデータベースの整備
・分散コンピューティング基盤の更なる整備



オルツは、本取り組みを通じて、AI技術の可能性を広げ、ビジネス実装力を強化し、社会に新たな価値を提供してまいります。また、本取組みに資する協奏パートナーとの連携も積極的に推進しくとしている。

この記事を読んだ人におすすめ

関連する記事はまだありません