NECの大規模言語モデル「cotomi v2」vs「GPT-4o」対決！精度と速度を向上した新版を12月リリース、GPUの演算効率を2倍に向上

2024年11月28日 By 神崎洋治

NECは、報道関係者や証券アナリスト、機関投資家などが対象のイベント「NEC Innovation Day 2024」において、既にリリースしている大規模言語モデル（LLM）生成AI「cotomi」（コトミ）を強化した「cotomi v2」（正式名称は不明）を発表した。このモデルは2024年12月から順次提供開始される。NECは、生成AI関連事業において、2025年度末までに約500億円の売り上げを目指す。

「cotomi」の新バージョンについて発表する NEC Corporate SVP 兼 AI テクノロジーサービス事業部門長兼 AI Research Officer 山田昭雄氏

また、「cotomi Fast v2」と、「GPT-4o」「Qwen2.5」と比較したデモを展示し、秀でた高速性を紹介した（動画あり）。

「cotomi v2」のプレゼンとデモを公開した展示ブース

「cotomi」はNECの価値創造モデル「BluStellar」(ブルーステラ)のキーテクノロジーで、NECが開発した生成AI「台規模言語モデル」。日本語ベンチマークにおいて圧倒的な高速性を維持しつつ、世界トップクラスの精度を達成した。

「cotomi」が目指すポジション。「cotomi Pro」と「cotomi Fast」は高速性を保ったままさらに精度を向上

他の大規模言語モデルとのスピード比較

今回、「cotomi v2」は性能の強化を行い、日本語の大規模言語モデル(LLM)ベンチマーク「Japanese MT-Benchmark」において、「Claude」や「GPT-4」「Qwen」などのグローバルでトップレベルの他社LLMに匹敵する「精度」を達成した。さらに「Qwen」の6倍、「GPT-4o」の2倍の速度を実現し、圧倒的な推論速度と、高精度を両立させることに成功した。

「NEC Innovation Day 2024」の展示ブースでは「cotomi Fast v2」と、「GPT-4o」「Qwen2.5」と実際に比較したデモを公開した。約3,000文字のテキスト内容を入力し、それをそれぞれのLLMが要約して表示するのにかかる時間から、速度を比較するデモとなっている。

約3,000文字の本文を要約させる

左から「cotomi Fast v2」「GPT-4o」「Qwen2.5」の順で要約文を表示

■スピード対決！NEC cotomi vs GPT-4o vs Qwen

「cotomi V2」の特長

NECは、2024年4月に大規模言語モデル「cotomi」に、「cotomi Pro」と「cotomi Light」のバリエーションを開発してラインアップ。グローバルでトップレベルの他社LLMと同等の性能を持ちながら、高速性を実現したことを発表している。

「cotomi Pro」と「cotomi Fast」と他社のLLM、「Japanese MT-Bench」べンチマークでの比較

「cotomi V2」については、発表されたリリースと「NEC Innovation Day 2024」で展示された内容から、改良点は次のような内容。

・cotomiの性能向上（軽量化･高精度）、ベンチマークで実証
・根拠を提示することで信頼性を向上
・ハルシネーションを検知するAI連携
・自己学習でプロンプト作成の負担を軽減（自己学習をLLMやRAGに反映）
・GPUの演算効率を2倍に高める技術
・電力効率を2倍に改善

１文字あたりの生成速度の比較

GPUの演算効率を高める技術を開発

生成AIの急速な発展により、様々な企業や公共機関が生成AIを活用した業務変革を進めている。これに伴い、より専門性の高い業務に合わせたユースケースや業務システムへの組み込みへの対応など、生成AI自体の機能・性能向上が求められている。

一方、今後の生成AI市場の世界需要額は2023年から2030年にかけて約20倍の成長が見込まれている。それに合わせてGPUの需要も急激に増大しており、データセンターにおける消費電力の増加が課題となる。
これらの課題に対しNECは「cotomi」の性能強化と使用時のGPUの演算効率を高める技術を開発し、環境に配慮した生成AI活用環境を提供する、としている。

生成AIの性能を維持しながらもGPUの演算効率を2倍に高める技術も併せて開発。高速性を維持しつつ精度の高い生成AIにより、実際の業務でストレスのない生成AIの活用を強力に推進する。

AI需要の高まりに伴うGPU不足や電力問題なども改善し、AIをより身近に、快適に活用できる環境づくりを実現する。

高効率利用技術で消費電力を削減

NECは「この性能強化により、生成AIを用いた高度な専門業務の自動化を現実のものにします」とコメントしている。

関連サイト
日本電気株式会社

ABOUT THE AUTHOR /

神崎洋治

神崎洋治（こうざきようじ） TRISEC International,Inc.代表「Pepperの衝撃! パーソナルロボットが変える社会とビジネス」(日経BP社)や「人工知能がよ～くわかる本」(秀和システム)の著者。デジタルカメラ、ロボット、AI、インターネット、セキュリティなどに詳しいテクニカルライター兼コンサルタント。教員免許所有。PC周辺機器メーカーで商品企画、広告、販促、イベント等の責任者を担当。インターネット黎明期に独立してシリコンバレーに渡米。アスキー特派員として海外のベンチャー企業や新製品、各種イベントを取材。日経パソコンや日経ベストPC、月刊アスキー等で連載を執筆したほか、新聞等にも数多く寄稿。IT関連の著書多数(アマゾンの著者ページ)。