丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
專欄 正文
發(fā)私信給新智元
發(fā)送

0

HPC大計(jì)算:挑戰(zhàn)深度學(xué)習(xí)的計(jì)算力黑洞

本文作者: 新智元 2015-09-26 14:25
導(dǎo)語:大計(jì)算也代表著一個(gè)更大計(jì)算力的時(shí)代 —— 百億億次。

工業(yè)4.0所倡導(dǎo)的工業(yè)智能化背后,離不開高性能計(jì)算(HPC)、大數(shù)據(jù)和云計(jì)算融合的“大計(jì)算”。9月24日,由亞洲超算協(xié)會(huì)聯(lián)合浪潮等主辦的2015高性能計(jì)算用戶大會(huì)在北京舉行,大會(huì)圍繞目前的新技術(shù)趨勢提出“大計(jì)算”理念。高性能計(jì)算可以顯著降低工業(yè)設(shè)計(jì)、研發(fā)和生產(chǎn)的成本,并大幅度提升效率,是實(shí)現(xiàn)工業(yè)4.0最重要的創(chuàng)新工具之一。

HPC大計(jì)算:挑戰(zhàn)深度學(xué)習(xí)的計(jì)算力黑洞

挑戰(zhàn)計(jì)算力的黑洞

可以說,“大計(jì)算”成為一種趨勢,它在技術(shù)體現(xiàn)在兩個(gè)方面:

第一是云計(jì)算、大數(shù)據(jù)和高性能計(jì)算等多種計(jì)算形式在逐步融合。

互聯(lián)網(wǎng)技術(shù)、遙感技術(shù)的快速發(fā)展和對其他行業(yè)的滲透,帶來了數(shù)據(jù)的爆炸式增長,也帶動(dòng)了人工智能等一批新技術(shù)的興起,復(fù)雜的應(yīng)用使得單一架構(gòu)的數(shù)據(jù)中心難以勝任處理工作,需要將不同的計(jì)算方式予以融合。

第二是基礎(chǔ)架構(gòu)如計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等的界限也越來越模糊,走向軟件定義的趨勢。

同時(shí),大計(jì)算也代表著一個(gè)更大計(jì)算力的時(shí)代 —— 百億億次。數(shù)據(jù)的爆炸式增長帶來的直接結(jié)果,就是對計(jì)算力的需求更加旺盛。就以深度學(xué)習(xí)來說,它往往意味著計(jì)算力黑洞。

—— 有多黑洞呢?

當(dāng)今最著名的GoogleBrain使用的并行計(jì)算平臺(tái)使用了16000個(gè)CPU,共計(jì)10億的節(jié)點(diǎn),來進(jìn)行深度學(xué)習(xí)模型網(wǎng)絡(luò)的構(gòu)建。然而人腦大致有1000億神經(jīng)元(對應(yīng)深度學(xué)習(xí)模型中的CPU),每個(gè)神經(jīng)元有大約5000個(gè)神經(jīng)突觸(對應(yīng)計(jì)算網(wǎng)絡(luò)中的的節(jié)點(diǎn))。曾經(jīng)有人估算過,如果將一個(gè)人的大腦中所有神經(jīng)突觸依次連成一條直線,可以從地球到月亮,再從月亮返回地球。同時(shí),人腦的計(jì)算能耗比還非常低,相當(dāng)于世界上最快的超級計(jì)算機(jī)天河2號的200萬倍。

日本和德國的研究人員曾在“京”(日本最快超級計(jì)算機(jī))上進(jìn)行了歷史上規(guī)模最大的一次人腦神經(jīng)模擬計(jì)算 —— 使用“京”的82944個(gè)處理器+1PB內(nèi)存模擬人腦的17.3億神經(jīng)細(xì)胞。結(jié)果,京完成1秒的人腦模擬計(jì)算需要耗費(fèi)40分鐘,而如果假設(shè)完成時(shí)間與被模擬神經(jīng)規(guī)模成線性比例的話,那么模擬整個(gè)大腦1秒的運(yùn)作則需耗時(shí)2.5天。

HPC大計(jì)算:挑戰(zhàn)深度學(xué)習(xí)的計(jì)算力黑洞

在人類社會(huì)的數(shù)據(jù)量以EB級的速度增長的情況下,需要一種新型的低成本、高效率計(jì)算架構(gòu)(主要是芯片、網(wǎng)絡(luò)技術(shù)的顛覆性變革),才能完成數(shù)據(jù)處理的工作。

過去一年,聽到的越來越多的詞語就是“深度學(xué)習(xí)”、“人工智能”。很多人也提出需求:我有大數(shù)據(jù)的需求,能不能和HPC進(jìn)行統(tǒng)一的整合給我提供管理?我在深度學(xué)習(xí)上遇到性能的問題,用HPC的技術(shù)能不能更好的解決和實(shí)現(xiàn)?

實(shí)際上不同的計(jì)算方式給我們提出了挑戰(zhàn)。比如國內(nèi)現(xiàn)在很多互聯(lián)網(wǎng)企業(yè)的采購單元已經(jīng)從原來的單機(jī)變成了機(jī)柜單元,下一步可以想像他的采購模式可能是要布滿傳感器。這就代表了在企業(yè)集團(tuán)架構(gòu)上的融合進(jìn)化的趨勢。最早的時(shí)候,在服務(wù)器上面,它是節(jié)點(diǎn)的耦合,具備自己獨(dú)立的處理和存儲(chǔ)。那么到了Rack的時(shí)候,機(jī)柜計(jì)算單元可以實(shí)現(xiàn)池化,它的整個(gè)機(jī)柜互聯(lián),通過無交換機(jī)的方式實(shí)現(xiàn)整個(gè)網(wǎng)絡(luò)的拓?fù)浜驮O(shè)計(jì),做到整個(gè)數(shù)據(jù)中CPU的共享、存儲(chǔ)式的共享、IO的共享并進(jìn)行全局供應(yīng)鏈的管理。

HPC大計(jì)算:挑戰(zhàn)深度學(xué)習(xí)的計(jì)算力黑洞

新計(jì)算時(shí)代的挑戰(zhàn)

高性能計(jì)算(High Performance Computing)指使用很多處理器(作為單個(gè)機(jī)器的一部分)或者某一集群中組織的幾臺(tái)計(jì)算機(jī)(作為單個(gè)計(jì)算資源操作)的計(jì)算系統(tǒng)和環(huán)境。HPC在若干年前已經(jīng)成為了一個(gè)概念,高性能計(jì)算最早期已經(jīng)具備了相關(guān)特性。

不同的計(jì)算方式在耦合,計(jì)算架構(gòu)在融合和進(jìn)化。在這樣一個(gè)新的計(jì)算時(shí)代我們會(huì)面臨什么挑戰(zhàn)?

首先是如何用一個(gè)大計(jì)算解決所有的企業(yè)計(jì)算架構(gòu)問題。不同的應(yīng)用具備不同的計(jì)算特征,所以我們需要適合的計(jì)算資源提供這樣的計(jì)算服務(wù)。

第二是硬件架構(gòu)需要面對多樣的計(jì)算挑戰(zhàn)。例如大數(shù)據(jù),傳統(tǒng)的科學(xué)工程計(jì)算和深度學(xué)習(xí),它對后臺(tái)的計(jì)算架構(gòu)需求不一樣的。

第三是如何在混合的計(jì)算產(chǎn)品上保證應(yīng)用的靈活性。

HPC大計(jì)算:挑戰(zhàn)深度學(xué)習(xí)的計(jì)算力黑洞

我們?nèi)鄙俚氖沁m應(yīng)性的計(jì)算環(huán)境

“計(jì)算+”的策略,其核心理念就是改變原來服務(wù)器是服務(wù)器,存儲(chǔ)是存儲(chǔ),網(wǎng)絡(luò)是網(wǎng)絡(luò)的狀況,讓他們演化會(huì)合為一體,通過軟件定義的方式實(shí)現(xiàn)后臺(tái)整個(gè)計(jì)算架構(gòu)。

這樣的趨勢在過去幾年已經(jīng)是屢見不鮮,越來越多網(wǎng)絡(luò)公司把自己賣給服務(wù)器公司,越來越多存儲(chǔ)公司也想把自己賣給計(jì)算公司。這代表著一個(gè)明顯的信號:未來世界網(wǎng)絡(luò)可以通過軟件來定義,存儲(chǔ)也可以通過軟件定義,只要基于計(jì)算架構(gòu),就可以通過軟件來定義所有的計(jì)算架構(gòu)。

在這樣一個(gè)策略下,需要提供一個(gè)適應(yīng)性的計(jì)算環(huán)境,在硬件架構(gòu)上面是一個(gè)融合的基礎(chǔ)架構(gòu),在軟件設(shè)計(jì)層面能夠?qū)崿F(xiàn)軟件定義HPC

HPC大計(jì)算:挑戰(zhàn)深度學(xué)習(xí)的計(jì)算力黑洞

  • 適應(yīng)的計(jì)算環(huán)境

不同的計(jì)算中不同應(yīng)用對于計(jì)算特征的需求完全不同,不可能一個(gè)環(huán)境可以做一切的事情。這樣的情況下,需要提供的是一個(gè)有更多可能性和選擇性的計(jì)算環(huán)境。

  • 融合基礎(chǔ)架構(gòu)

現(xiàn)在已經(jīng)很明顯的趨勢叫計(jì)算+,也就是計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)正在融合。面向計(jì)算的機(jī)柜式基礎(chǔ)架構(gòu),它是在一個(gè)機(jī)柜里面用相同的物理規(guī)格實(shí)現(xiàn)不同的計(jì)算功能,有兩路、四路、交換節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn),可以通過軟件定義的方式實(shí)現(xiàn)資源池化和共享。在整個(gè)基礎(chǔ)設(shè)施方面,有全機(jī)柜的統(tǒng)一供電和風(fēng)扇共享,實(shí)現(xiàn)全局管理的融合,對于整機(jī)柜所有的計(jì)算資源實(shí)現(xiàn)統(tǒng)一管理。

  • 軟件定義的HPC

軟件定義這個(gè)詞非常熱,具體到HPC上來說,最核心部分就是軟件定義HPC,提供軟件的環(huán)境。

1、軟件定義的數(shù)據(jù)服務(wù)。

在大數(shù)據(jù)的應(yīng)用里面,大概70%的時(shí)間是消耗到IO(input/output,即信息的輸入與輸出)上面的,這是應(yīng)該解決的問題?,F(xiàn)在通過軟件定義存儲(chǔ)的方式,可以讓高性能計(jì)算、大數(shù)據(jù)和云計(jì)算這樣不同的接口支持不同的數(shù)據(jù)格式,為不同的應(yīng)用提供統(tǒng)一的存儲(chǔ)空間。這樣不管前面計(jì)算集群上面運(yùn)行HPC、還是大數(shù)據(jù)、還是深度學(xué)習(xí),在后端存儲(chǔ)的數(shù)據(jù)服務(wù)上是統(tǒng)一的存儲(chǔ)設(shè)備,只是通過不同的軟件定義的方式去提供。

2、軟件定義的網(wǎng)絡(luò)服務(wù)。

在云、大數(shù)據(jù)、互聯(lián)網(wǎng)這個(gè)領(lǐng)域大家原來使用習(xí)慣是軟件定義,這帶來IO不那么好。如果通過HPC,用軟件定義網(wǎng)絡(luò)服務(wù)的方式,能夠?qū)崿F(xiàn)更加接近于應(yīng)用的、適合它的網(wǎng)絡(luò)拓?fù)?。比如可以?shí)現(xiàn)3D的架構(gòu),有別于傳統(tǒng)的2D架構(gòu),它的節(jié)點(diǎn)擴(kuò)展性少了很多制約。在3D上面實(shí)現(xiàn)極大規(guī)模的網(wǎng)絡(luò)擴(kuò)展,基于不同的應(yīng)用環(huán)境,通過軟件定義它的不同拓?fù)洌沟猛ㄟ^資源感知的方式,將通訊密集的應(yīng)用放在網(wǎng)絡(luò)平臺(tái)上,這樣計(jì)算應(yīng)用的時(shí)候保證網(wǎng)絡(luò)通信延遲更低,帶寬更高。

3、軟件定義的資源服務(wù)。

它可以在不用應(yīng)用之間實(shí)現(xiàn)資源統(tǒng)一分配和調(diào)配,能夠在物理機(jī)和虛擬機(jī)之間實(shí)現(xiàn)資源分配和遷移,并且實(shí)現(xiàn)計(jì)算在本地和云端靈活的遷移和調(diào)度。

通過軟件定義的數(shù)據(jù)服務(wù),軟件定義的網(wǎng)絡(luò)服務(wù)和軟件定義的資源服務(wù)這三個(gè)方面,加上適應(yīng)性的計(jì)算環(huán)境、融合的基礎(chǔ)架構(gòu)之上實(shí)現(xiàn)軟件定義的HPC是目前的思考。HPC在若干年前已經(jīng)成為了一個(gè)概念,在目前的這樣一個(gè)大計(jì)算的趨勢和挑戰(zhàn)下,可以做到HPC到深度學(xué)習(xí),HPC到大數(shù)據(jù)。

【本文作者劉軍,浪潮高性能服務(wù)器產(chǎn)品總經(jīng)理】

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。

HPC大計(jì)算:挑戰(zhàn)深度學(xué)習(xí)的計(jì)算力黑洞

分享:
相關(guān)文章

產(chǎn)業(yè)鏈媒體

「新智元」深度鎖定人工智能及機(jī)器人產(chǎn)業(yè)鏈,關(guān)注產(chǎn)業(yè)前沿資訊,聚集學(xué)術(shù)和產(chǎn)業(yè)領(lǐng)袖,共同建構(gòu)智能 + 產(chǎn)業(yè)的新紀(jì)元。
當(dāng)月熱門文章
最新文章
請?zhí)顚懮暾埲速Y料
姓名
電話
郵箱
微信號
作品鏈接
個(gè)人簡介
為了您的賬戶安全,請驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號信息
您的賬號已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說