國(guó)內(nèi)首個(gè)支持千億參數(shù)大模型訓(xùn)練AI計(jì)算框架MindSpore 1.2發(fā)布

科技 0 451
生成海報(bào)
牛奶果漿
牛奶果漿 2021-09-05 12:54
閱讀需:0

[中國(guó),深圳,2021年4月26日]華為開(kāi)發(fā)者大會(huì)2021(Cloud期間(簡(jiǎn)稱(chēng)HDC.Cloud?2021),國(guó)內(nèi)首個(gè)支持千億參數(shù)大型培訓(xùn)的AI計(jì)算框架MindSpore?1.2正式發(fā)布。最新的1.2版本帶來(lái)了AI框架領(lǐng)域的全自動(dòng)并行、全場(chǎng)景AI、推薦模明推薦模型的革新,讓開(kāi)發(fā)者享受AI開(kāi)發(fā)。

全自動(dòng)并行

在靜態(tài)圖模式下,MindSpore融合了流水線(xiàn)并行、模式并行和數(shù)據(jù)并行三種并行技術(shù),開(kāi)發(fā)人員只需編寫(xiě)單機(jī)算法代碼,添加少量并行標(biāo)簽,就能實(shí)現(xiàn)訓(xùn)練過(guò)程的自動(dòng)切分,并行算法性能的優(yōu)化時(shí)間從月級(jí)降低到小時(shí)級(jí),同時(shí)訓(xùn)練性能比行業(yè)標(biāo)桿提高40%。

在動(dòng)態(tài)圖模式下,MindSpore獨(dú)特的函數(shù)式微分設(shè)計(jì)可以從一級(jí)微分輕松擴(kuò)展到高級(jí)微分,優(yōu)化整體圖的性能,大幅提高動(dòng)態(tài)圖的性能創(chuàng)新的通信算子融合和多流并行機(jī)制,與其他AI框架相比

全場(chǎng)景AI

MindSpore實(shí)現(xiàn)了云、邊、端不同場(chǎng)景下硬件設(shè)備的快速應(yīng)用、高效運(yùn)行和有效合作。通過(guò)全場(chǎng)景AI的能力,Huawei、WatchGT的手腕識(shí)別率上升了80%,時(shí)間延遲在5ms以下,模型在1KB以下,大幅度提高了用戶(hù)體驗(yàn)。

在云端:通過(guò)自適應(yīng)模型切分和服務(wù)內(nèi)分布式并行調(diào)度技術(shù),可支持超大模型在多張加速卡上的推理部署,且推理性能較目前業(yè)界領(lǐng)先的serving服務(wù)方式提升30%;

在邊緣側(cè):通過(guò)自適應(yīng)模型壓縮技術(shù),將CV類(lèi)(Computer Vision 計(jì)算機(jī)視覺(jué))模型壓縮2/3,推理時(shí)間縮短50%,用戶(hù)側(cè)實(shí)測(cè)精度損失lt;1%,能有效解決邊緣側(cè)算力瓶頸;

在端側(cè):模型即代碼,將模型編譯到代碼里,實(shí)現(xiàn)了極小的ROM(Read-Only Memory儲(chǔ)存內(nèi)存)占用。同時(shí),通過(guò)算子數(shù)據(jù)重排技術(shù)提升端側(cè)Cache命中率,可降低推理時(shí)延,解決在超輕量IOT設(shè)備進(jìn)行部署時(shí)受設(shè)備類(lèi)型、內(nèi)存等所限制的難題。

可解釋推薦模式

MindSpore內(nèi)置行業(yè)首個(gè)語(yǔ)義級(jí)可解釋推薦模式TB-Net,基于原始知識(shí)圖譜雙向傳導(dǎo)技術(shù),從知識(shí)圖譜的大量關(guān)系路徑中,正確識(shí)別影響用戶(hù)行為的核心特征和重要路徑,提供個(gè)性化推薦和語(yǔ)義級(jí)別的解釋

自2020年3月開(kāi)源以來(lái),MindSpore社區(qū)擁有逾17萬(wàn)名開(kāi)發(fā)者,軟件下載量超過(guò)24萬(wàn),在超過(guò)10個(gè)行業(yè)規(guī)模使用。此外,在碼云(Gitee)上MindSpore的代碼活躍度、影響力、社區(qū)活躍度、團(tuán)隊(duì)構(gòu)建、流行趨勢(shì)綜合排名第一。目前,MindSpore是發(fā)展最快的AI開(kāi)源社區(qū)。

作為華為ICT基礎(chǔ)設(shè)施業(yè)務(wù)面向全球開(kāi)發(fā)者的年度盛會(huì),華為開(kāi)發(fā)者大會(huì)2021(Cloud)(簡(jiǎn)稱(chēng)HDC.Cloude2021)于2021年4月24日至26日在深圳舉行。本次大會(huì)以#所有開(kāi)發(fā)人員都很棒#為主題,集業(yè)界大咖啡、華為科學(xué)家、頂級(jí)技術(shù)專(zhuān)家、天才少年和眾多開(kāi)發(fā)人員于一身,共同探討和共享云、計(jì)算、人工智能等最新ICT技術(shù)在業(yè)界的深入創(chuàng)新和應(yīng)用。詳情請(qǐng)?jiān)L問(wèn):https://developer.huaweicloud.com/HDC.Cloud2021.html

相關(guān)標(biāo)簽:
評(píng)論
  • 消滅零回復(fù)
最新問(wèn)題
哪個(gè)醫(yī)院有不孕 1
極米代言人是誰(shuí)?, 1
80寸電視和85寸電視為啥寬度不一樣 1
不通輸卵管如何治療 1
聯(lián)想投影機(jī)紅色欠佳,比正常差一半 3
聯(lián)想t500投影儀蘋(píng)果手機(jī)如何視頻投影 1
小度智能屏應(yīng)用中心都有哪些應(yīng)用 1
去哪家專(zhuān)治輸卵管堵了醫(yī)院好 1
人工智能專(zhuān)業(yè)學(xué)校排名 1
咸陽(yáng)不育怎么治療 1
猜你喜歡
內(nèi)蒙古地方的醫(yī)院做試管嬰兒多少錢(qián),醫(yī)院是無(wú)償嗎?
鄭州試管助孕機(jī)構(gòu)解析!費(fèi)用明細(xì)全揭秘!
2025泉州試管嬰兒醫(yī)院排名已出?附全面費(fèi)用!
中國(guó)三代試管助孕機(jī)構(gòu)有哪家!附詳細(xì)費(fèi)用預(yù)估!
俄羅斯哪里可以做三代試管嬰兒?懷孕的幾率!
泰國(guó)試管嬰兒雙胎機(jī)率有多大,報(bào)價(jià)出爐!
運(yùn)城第三代試管嬰兒機(jī)構(gòu)在哪里,讓你豁然開(kāi)朗
上海做試管嬰兒要多少錢(qián),你學(xué)廢了嗎?
三代試管嬰兒上海的費(fèi)用多少錢(qián)!內(nèi)附詳情介紹!
2025廣州醫(yī)院三代試管嬰兒費(fèi)用是多少?附全程費(fèi)用結(jié)構(gòu)!
熱門(mén)文章
天津10大助孕機(jī)構(gòu)_天津助孕機(jī)構(gòu)目錄大全
敲黑板|2025試管嬰兒操作步驟全解析
海外正規(guī)助孕機(jī)構(gòu)(海外正規(guī)助孕公司有哪些)
國(guó)外比較大的助孕服務(wù)公司選擇指南
拉拉les做試管嬰兒費(fèi)用標(biāo)準(zhǔn)
想去泰國(guó)做試管,哪個(gè)機(jī)構(gòu)可靠?
北京私立醫(yī)院做三代試管費(fèi)用明細(xì)公布,附成功率數(shù)據(jù)
??谟袥](méi)有能做三代試管的私立醫(yī)院?一分鐘事件看懂實(shí)情
北京私立醫(yī)院試管成功率數(shù)據(jù)已出,快看看排名
2025鄭州私立機(jī)構(gòu)三代試管成功率數(shù)據(jù)已出,附口碑排行榜
收藏!不打降調(diào)直接促排成功率高不高?選用何種方案成功率高要明確
單親女性試管成功率多少
試管聚焦|上海做試管比較好的私立醫(yī)院怎么樣,我的親身經(jīng)歷希望可以幫到你
即時(shí)公開(kāi)!烏魯木齊可以做三代試管的醫(yī)院有哪些
品牌推薦:上海未婚做試管機(jī)構(gòu)推薦,附生殖機(jī)構(gòu)大全
內(nèi)膜不好可以試管移植嗎
美國(guó)哪些醫(yī)院做試管嬰兒的成功率高?過(guò)來(lái)人推薦這幾家
做三代試管一般幾次能成功?附提高三代試管成功率的方法
廣州從化區(qū)試管嬰兒流程及費(fèi)用詳細(xì)解讀
上海單身未婚能不能做試管嬰兒,推薦這些機(jī)構(gòu)
泰國(guó)試管嬰兒需要準(zhǔn)備多少錢(qián)?詳細(xì)花費(fèi)是多少?
南京可開(kāi)展試管技術(shù)的私人機(jī)構(gòu)有哪些?挑選美國(guó)頂級(jí)試管嬰兒中心至關(guān)重要
慢性盆腔炎影響試管成功率嗎-附成功率費(fèi)用介紹
在汕頭始基子宮能做試管嗎附成功率費(fèi)用介紹
哈薩克斯坦試管嬰兒技術(shù)5大重點(diǎn)是?技術(shù)靠譜嗎?
廣告合作方 廣告申請(qǐng)