NTT版生成AI大規模言語モデル(LLM)「tsuzumi」驚異の性能を披露 NTT R&Dフォーラム2023開幕 NTT島田社長の基調講演と見どころ

NTTは、特長ある研究成果、約100の展示を紹介する「NTT R&D FORUM 2023 – IOWN ACCELERATION」(R&Dフォーラム)を2023年11月14日(火)～11月17日(金)まで開催する。場所はNTT武蔵野研究開発センタ(東京都「三鷹駅」北口よりバス)。オンラインでも参加できる。
開催前日となる2023年11月13日、NTTは関係者と報道関係者向けの内覧会を開催した。会場は関係者でかなり賑わっていたが、報道関係者向けには基調講演とメディア向けツアーも開催された。中でも初めて披露されたNTT版大規模言語モデル「tsuzumi」は多くの来場者や報道陣に強いインパクトを与えた(商用サービスを2024年3月提供開始)。

■NTTの想い篇

最大のテーマは超高速通信基盤「IOWN」とNTT版大規模言語モデル「tsuzumi」

島田社長による基調講演と、今回の展示の目玉となるNTT版大規模言語モデル「tsuzumi」の詳細説明を木下部長がおこなった。

電話や通信で培った日本語大規模言語モデル(LLM)はNTTが長年培ってきた技術と知見を最も発揮できる分野。登壇で「LLMでは絶対に他社には負けられない」という意気込みが感じられたし、既に稼働している「tsuzumi」や将来に向けてのコンセプト展示は、非常に素晴らしいものばかりだった。

また、もうひとつの注目ポイントは、今年3月にサービスを開始した「IOWN」(アイオン)。今までロボスタでも多くの記事を掲載してきたが、R&Dフォーラムではその研究成果が一堂に揃って展示され、IOWNの具体的なサービス、実践的システム、ユースケース、更に発展する要素技術、生成AIのNTT版AI技術等を中心に、NTTグループ、R&Dの約100の最新成果が分かりやすく紹介されている。

NTT版 大規模言語モデル(LLM)「tsuzumi」は驚きの連続

今回のR&Dフォーラムの最大の注目はやはり、NTT版 大規模言語モデル(LLM)「tsuzumi」の機能とその可能性。1フロアのほとんどを数々の「tsuzumi」デモコーナーで構成している。

「tsuzumi」は話題のChatGPT3と比較して同等の性能を持ちながら、コンパクト性に優れる。数値で表すと、「tsuzumi」は軽量版の「tsuzumi-7B」(7billionプロンプト)と、ライト版「tsuzumi-0.6B」(0.6billionプロンプト)が準備されている。GPT-3は175B(Billion)なので、軽量版「tsuzumi-7B」はGPT-3の1/25、ライト版「tsuzumi-0.6B」はGPT-3の1/300というコンパクトさだ。


コンパクトだということは、それだけパワーの少ないコンピュータで動作することを表していて、型落ちしたゲーミングPCでも動作し、将来的にはGPUなしで、タブレットやスマートフォンなどでも動作することを示唆している。
また、コンパクトなほど電力消費量も抑えることができる。175BのGPT-3は1回の学習で原発1基1時間分以上、約1300MWhのエネルギーが必要だと紹介した。それに対してコンパクトな「tsuzumi-7B」は地球に優しいということになる。


これは企業にとってはコストに関わる問題とも言え、学習コスト、推論コストともにGPTと比較して大幅に削減できるとした。

パラメータ数の少なさを連携構成でリカバー

「GPT-3の175B(Billion)のパラメータに対して、tsuzumi-7B(Billion)やtsuzumi-0.6Bのパラメータ数では、性能的に劣るのではないか」という疑問を感じるだろう。一般的にはパラメータ数が少なければそれだけ絶対的な知識量は少ないと見られている。
そこをリカバーするため、「tsuzumi」はある程度専門分野に特化した複数の大規模言語モデルを繋いで、それぞれの分野をカバーするという機能を持っている。これは上手く連携できれば、とても合理的だと言えるだろう。(例:経営計画を議論する際、総務/法務に特化したtsuzumi AI、営業/マーケに特化したtsuzumi AI、製造/物流に特化したtsuzumi AIを連携する等)


会場では実に多くのパターンでデモブースが設置されているので「tsuzumi」に興味がある人はぜひ体験をお勧めする。

島田社長による基調講演

島田社長による基調講演は「挑む 人と地球のために NTT R&Dの取組み」と題しておこなわれた。

島田社長は社会が抱える3つの課題「労働力不足」「環境・エネルギー問題」「高齢化 医療費増大 Well beingの追求」に焦点をあて、今回は「大容量・低遅延・低消費電力を実現する次世代コミュニケーション基盤 IOWN」と「世界トップクラスの言語処理能力を持つ小型/省電力の大規模言語モデル tsuzumi」を中心に据えて、NTTの新技術でこれらの課題を解決していく、と決意を述べた。

IOWNの特徴はいくつもあるが、その代表が「大容量・高品質」「超低遅延」を「低消費電力」で実現していく基盤であること。島田氏は「増大するデータ量や電力消費量の課題に対し、IOWN構想により、電力効率100倍、伝送容量125倍、遅延は1/200の目標を達成していく」とした。

「ボード接続光化」構想、やがてはチップ内も光化へ

そしてIOWNのロードマップとして、2025年度「IOWN2.0」ではボード接続用デバイスを開発、「ボード接続光化」を実現し、2028年度「IOWN3.0」ではチップ間向けデバイスへ、そしてその先はチップ内を光化する考えを示した。


既に光エンジン/スイッチングボードを開発中であり、コンピューティング領域を切り開く大容量・低電力・小型の光エンジンのリリースを目指すと語った。

基調講演/セミナーも開催

R&Dフォーラムでは展示のほか、基調講演や社内外有識者がホットな話題をテーマら具体的な取組・展望などを語る特別セッション(セミナー)も用意されている。詳細はこちら

基調講演

基調講演1
講演タイトル　NTT版LLM「tsuzumi」とIOWNの進捗
登壇者名　NTT 代表取締役社長 社長執行役員 島田 明氏

基調講演2
講演タイトル　IOWN ACCELERATION ～想像と創造～
登壇者名　NTT 常務執行役員 研究開発マーケティング本部長 大西 佐知子氏

基調講演3
講演タイトル　LLM＋×IOWN　～IOWNの進展、NTT版LLMの誕生、そして２つの相互作用～
登壇者名　NTT 執行役員 研究企画部門長 木下真吾氏

特別セッション・未来セミナー

特別セッション1
講演タイトル　Data Drivenな社会を切り開くIOWN
登壇者名　日本オラクル株式会社　常務執行役員　ストラテジック・クライアント統括　永椎 裕章氏

特別セッション2
講演タイトル　汎用AIはヒトと暮らす夢を見るか？～NTTにおけるLLMの研究開発～
登壇者名　NTT人間情報研究所　上席特別研究員　西田 京介氏

講演タイトル　自然界に着想を得た新しい言語モデルの開発
登壇者名　Sakana AI,Co-Founder CEO　David Ha　Sakana AI,Co-Founder CTO　Llion Jones氏

特別セッション3　
講演タイトル　AI時代におけるニオブ酸リチウムフォトニクス
登壇者名　NTT Research　Bob Byer　NTT Research　Timothy McKenna氏

未来セミナー

未来セミナー1
講演タイトル　技術革新による宇宙活用の未来
登壇者名　株式会社アクセルスペース　代表取締役CEO　中村友哉氏

未来セミナー2
講演タイトル　ヒトの成長はどこまで続くのか？
登壇者名　順天堂大学大学院医学研究科・医学部教授　小林弘幸氏

未来セミナー3　
講演タイトル　これが未来の都市生活！？
登壇者名　慶応義塾大学 医学部教授　宮田裕章氏

※講演タイトル名が変更になる可能性がある。

この記事を読んだ人におすすめ

• rinna、Metaの大規模言語モデル「Llama 2」の日本語継続事前学習モデル「Youri 7B」を公開　Llama 2とYouri 7Bの特徴とまとめ
• シャープ「エッジAI構想」にデジタルヒューマンとmiiboが参画 「SHARP Tech-Day」でLLM対応のAIアバター プロトタイプ展示へ