《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 人工智能 > 業(yè)界動(dòng)態(tài) > 日本聯(lián)合研究團(tuán)隊(duì)發(fā)布Fugaku-LLM大模型

日本聯(lián)合研究團(tuán)隊(duì)發(fā)布Fugaku-LLM大模型

在富岳超算上訓(xùn)練大模型
2024-05-11
來源:快科技

5 月 11 日消息,由多方企業(yè)和機(jī)構(gòu)組成的日本聯(lián)合研究團(tuán)隊(duì)昨日發(fā)布了 Fugaku-LLM 大模型。該模型的最大特色就是其是在 Arm 架構(gòu)超算“富岳”上訓(xùn)練的。

Fugaku-LLM 模型的開發(fā)于 2023 年 5 月啟動(dòng),初期參與方包括富岳超算所有者富士通、東京工業(yè)大學(xué)、日本東北大學(xué)和日本理化學(xué)研究所(理研)。

而在 2023 年 8 月,另外三家合作方 —— 名古屋大學(xué)、CyberAgent(也是游戲企業(yè) Cygames 的母公司)和 HPC-AI 領(lǐng)域創(chuàng)企 Kotoba Technologies 也加入了該模型研發(fā)計(jì)劃。

1 - Copy.png

▲ 富岳超算。圖源富士通新聞稿

在昨日發(fā)布的新聞稿中,研究團(tuán)隊(duì)表示其充分挖掘了富岳超算的性能,將矩陣乘法的計(jì)算速度提高了 6 倍,通信速度也提升了 3 倍,證明大型純 CPU 超算也可用于大模型訓(xùn)練。

Fugaku-LLM 模型參數(shù)規(guī)模為 13B,是日本國(guó)內(nèi)最大的大型語言模型。

其使用了 13824 個(gè)富岳超算節(jié)點(diǎn)在 3800 億個(gè) Token 上進(jìn)行訓(xùn)練,其訓(xùn)練資料中 60% 為日語,其他 40% 包括英語、數(shù)學(xué)、代碼等部分。

該模型的研究團(tuán)隊(duì)宣稱 Fugaku-LLM 模型可在交流中自然使用日語敬語等特殊表達(dá)。

具體到測(cè)試成績(jī)上,該模型在日語 MT-Bench 模型基準(zhǔn)測(cè)試上的平均得分為 5.5,排在基于日本語料資源的開放模型首位,并在人文社科類別中得到了 9.18 的高分。

目前 Fugaku-LLM 模型已在 GitHub 和 Hugging Face 平臺(tái)公開,外部研究人員和工程師可在遵守許可協(xié)議的前提下將該模型用于學(xué)術(shù)和商業(yè)目的。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請(qǐng)及時(shí)通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 99r8这是只有精品视频9 | 国产精品久久久久久久久 | 成人国产在线不卡视频 | av人摸人人人澡人人超碰 | 亚洲精品播放 | 黄色三级毛片 | 在线国产区 | 国产成人综合自拍 | 欧美一级毛片aaa片 欧美一级毛片不卡免费观看 | 国产精品日韩欧美在线第3页 | 蜜臀91精品国产高清在线观看 | 欧美一级片观看 | 国产欧美在线观看不卡一 | 99av在线 | 成人黄色在线网站 | 久草在线 | 国产欧美在线观看视频 | 一级做a级爰片性色毛片视频 | 你懂的国产精品 | 在线观看中文字幕亚洲 | 亚洲永久中文字幕在线 | 精品国产高清a毛片 | 亚洲一区二区三区在线网站 | 久久99精品久久久久久 | 97视频在线免费观看 | 免费看一级毛片欧美 | 在线免费观看色 | 欧美三级黄色大片 | 欧美精品一区二区精品久久 | 成人免费在线视频网 | 欧美一区二区三区视频在线 | 99精品热女视频专线 | 成人性色大片 | 成人9久久国产精品品 | 日本特黄特色大片免费视频网站 | 一级做人爱a视频正版免费 一级做性色a爱片久久片 | 国产一区亚洲二区 | 成人久久在线 | 男人的天堂欧美精品色偷偷 | 久久久久久色 | 欧美美女色 |