在京東的投資版圖上，宿遷絕對(duì)是備受關(guān)注的一個(gè)點(diǎn)，原因也無(wú)需贅述。雷鋒網(wǎng)了解到，京東在宿遷的投資項(xiàng)目一共有12個(gè)，計(jì)劃投資近200億元，已建成京東信息科技園、京東智慧物流全國(guó)調(diào)度運(yùn)營(yíng)中心等5個(gè)項(xiàng)目，完成投資65.5億元；近期已開(kāi)工和即將開(kāi)工項(xiàng)目7個(gè)，計(jì)劃總投資130億元。

京東云華東（宿遷）數(shù)據(jù)中心就是京東在宿遷的重要布局，在計(jì)算力代表生產(chǎn)力的互聯(lián)網(wǎng)行業(yè)，云計(jì)算之下的數(shù)據(jù)中心在某種意義上象征著基礎(chǔ)硬實(shí)力，京東云華東數(shù)據(jù)中心建設(shè)于2015年，總投資35億，一期投資15億，二期計(jì)劃投資8至10億，現(xiàn)已投入6億，整個(gè)園區(qū)占地200畝左右，相當(dāng)于19個(gè)足球場(chǎng)大小，是京東云骨干網(wǎng)絡(luò)節(jié)點(diǎn)核心數(shù)據(jù)中心之一。

一期：平滑自然冷卻控制

數(shù)據(jù)中心是京東龐大的業(yè)務(wù)體系的技術(shù)支撐，華東數(shù)據(jù)中心又是京東自建的第一個(gè)數(shù)據(jù)中心，承載業(yè)務(wù)規(guī)模和種類相當(dāng)齊全，毫不夸張的說(shuō)，京東有一部分是建立在宿遷之上。

京東云華東（宿遷）數(shù)據(jù)中心一號(hào)園區(qū)占地200畝，總投資超30億元，其中設(shè)備投資約24億元，總建筑面積5.5萬(wàn)平方米，包括4棟數(shù)據(jù)中心樓（模塊）和一棟綜合樓。

一期數(shù)據(jù)中心的投產(chǎn)也經(jīng)歷了三個(gè)階段，先是2015年投產(chǎn)的模組1，華東數(shù)據(jù)中心2014年底拿地并開(kāi)始設(shè)計(jì)，2015年4月份土建開(kāi)工，2016年4月實(shí)際運(yùn)營(yíng)，建設(shè)速度還是比較快的，這也和當(dāng)時(shí)京東業(yè)務(wù)發(fā)展速度暴增，需要數(shù)據(jù)中心來(lái)支撐有關(guān)，彼時(shí)快速運(yùn)營(yíng)才是第一要求。

因?yàn)榻ㄔO(shè)速度快且宿遷并不是最初選址地，模組1沒(méi)有采用大膽技術(shù)嘗鮮，而是采用更為成熟的方案，不過(guò)模組1也給了其他模組以參考，京東云在后續(xù)的模組建設(shè)中就充分吸收了模組1的建設(shè)經(jīng)驗(yàn)，模組1設(shè)計(jì)PUE是1.4，實(shí)際運(yùn)營(yíng)過(guò)程中京東云將PUE控制在年均PUE≤1.3（實(shí)測(cè)）。

1模組內(nèi)部的數(shù)據(jù)機(jī)房和配電室由相同的小模塊組合而成，可根據(jù)使用需求靈活布置、調(diào)整模塊內(nèi)容。單個(gè)數(shù)據(jù)中心模塊的建立面積為6萬(wàn)多平米，總機(jī)柜數(shù)1138個(gè)，分別布置在10個(gè)模塊機(jī)房?jī)?nèi)，4個(gè)標(biāo)準(zhǔn)模（4KW）、3個(gè)高密模塊（8KW）2個(gè)網(wǎng)絡(luò)傳輸間，和1個(gè)微模塊（12W）機(jī)房，總能存放約4萬(wàn)5千多臺(tái)標(biāo)準(zhǔn)服務(wù)器。

模組4在相同地板面積的情況下增加了35%的機(jī)柜數(shù)量，4模組可容納1556個(gè)機(jī)架，單機(jī)柜功率在4kw到12kw，設(shè)計(jì)PUE小于1.35。模組4在供電方面采用高壓直流加UPS加市電直供方式，針對(duì)不同業(yè)務(wù)采用不同供電模式，另外在冷卻系統(tǒng)方面用上了平滑自然冷卻技術(shù)。

京東云數(shù)據(jù)中心水冷機(jī)房

數(shù)據(jù)中心空調(diào)系統(tǒng)的能耗一般占總能耗的20%-40%左右，其中制冷壓縮機(jī)的能耗又占到空調(diào)系統(tǒng)總能耗的70%-90%。因此，利用自然冷源來(lái)解決數(shù)據(jù)中心的散熱問(wèn)題成為數(shù)據(jù)中心創(chuàng)新技術(shù)的核心考量之一。

傳統(tǒng)自然冷卻板換的開(kāi)啟只有0和1兩種狀態(tài)，不能和冷機(jī)并行運(yùn)行，京東云的創(chuàng)新是在數(shù)據(jù)中心外樓放置數(shù)十個(gè)溫度、濕度、風(fēng)速和液位等傳感器，機(jī)房?jī)?nèi)不采用傳統(tǒng)的點(diǎn)裝式探頭，而是光纖測(cè)溫，規(guī)模應(yīng)用不僅提高了精度還降低了成本。

中央控制系統(tǒng)對(duì)室外、室內(nèi)、溫度、水及設(shè)備各方面數(shù)據(jù)進(jìn)行采集，進(jìn)而控制系統(tǒng)閥門(mén)、變存器，帶動(dòng)風(fēng)機(jī)、水泵，包括控制冷水機(jī)系統(tǒng)實(shí)現(xiàn)平滑聯(lián)動(dòng)。冬天板換完全打開(kāi)，冷機(jī)停止工作，在過(guò)渡季板換可開(kāi)啟一定的角度，冷機(jī)部分運(yùn)行，甚至可以開(kāi)半臺(tái)冷機(jī)，基本實(shí)現(xiàn)無(wú)人工干擾下的自動(dòng)運(yùn)行。

江蘇宿遷地區(qū)，一年中大部分時(shí)間的溫度在-5~35℃之間，年均氣溫14.2℃。京東數(shù)據(jù)中心相關(guān)負(fù)責(zé)人表示，在宿遷的天氣狀況下，一年大概有1/3的時(shí)間可利用板換冷卻，通過(guò)平滑自然冷卻技術(shù)，一年有將近5個(gè)月的時(shí)間可以完全利用室外的自然冷源，大幅降低運(yùn)營(yíng)成本。

實(shí)際運(yùn)行中，冷凍水系統(tǒng)在室外日平均溫度持續(xù)5天以上低于10度時(shí)，切換到自然冷卻系統(tǒng)使用，日平均溫度持續(xù)5天以上高于10度時(shí)，開(kāi)始退出。全年基本可以分為免費(fèi)制冷季和常規(guī)制冷季。

“我們?cè)趥鹘y(tǒng)的Freecooling技術(shù)基礎(chǔ)上，增加了一套自主設(shè)計(jì)的氣候環(huán)境采集控制系統(tǒng)，完全實(shí)現(xiàn)了制冷系統(tǒng)根據(jù)室內(nèi)外環(huán)境溫度、濕度、系統(tǒng)負(fù)荷大小、平滑連續(xù)的調(diào)節(jié)各組件運(yùn)行狀態(tài)，始終保持系統(tǒng)在最佳的效率區(qū)間。而且全年可以“免費(fèi)”使用自然冷源的時(shí)間高達(dá)180天以上，直接節(jié)約電費(fèi)數(shù)百萬(wàn)元以上“，京東方面表示。

雷鋒網(wǎng)了解到，京東云宿遷數(shù)據(jù)中心一號(hào)園區(qū)4個(gè)模組建成可容納5800個(gè)機(jī)柜，實(shí)際服務(wù)器數(shù)量可超15萬(wàn)臺(tái)，此外園區(qū)還采用了大規(guī)模雨水回收再利用系統(tǒng)、物理阻垢水處理系統(tǒng)，降低污染，整體基礎(chǔ)設(shè)施可靠性不低于99.985%。

京東云宿遷數(shù)據(jù)中心搭載定制化第二代英特爾至強(qiáng)可擴(kuò)展處理器，搭配傲騰數(shù)據(jù)中心級(jí)持久內(nèi)存，多核高主頻設(shè)計(jì)滿足了京東云高性能計(jì)算、大內(nèi)存配置和高網(wǎng)絡(luò)吞吐需求。京東云公有云目前已完成4個(gè)區(qū)域 、10個(gè)可用區(qū)（華北北京、華東上海、華東宿遷、華南廣州）的整體布局，另有數(shù)十個(gè)遍布全國(guó)的IDC設(shè)施。

二期：風(fēng)側(cè)間接蒸發(fā)冷卻

如果說(shuō)宿遷1號(hào)園區(qū)還只是小試牛刀，那么2號(hào)園區(qū)的建設(shè)思路更加體現(xiàn)了新互聯(lián)網(wǎng)巨頭的進(jìn)擊心。九月初傳來(lái)消息，京東云華東數(shù)據(jù)中心二期土地已完成摘牌，目前正在進(jìn)行方案深化設(shè)計(jì)。

宿遷2號(hào)園區(qū)緊鄰1號(hào)園區(qū)，占地約260畝，總投資大于60億元，同樣是4棟數(shù)據(jù)中心樓，不過(guò)設(shè)計(jì)機(jī)柜數(shù)量是一萬(wàn)個(gè)，預(yù)計(jì)能裝下20萬(wàn)臺(tái)服務(wù)器。

京東云數(shù)據(jù)中心內(nèi)部機(jī)柜

根據(jù)京東規(guī)劃，2號(hào)園區(qū)在2018年底完成數(shù)據(jù)中心規(guī)劃和土建施工前期準(zhǔn)備工作；2019年中期完成核心數(shù)據(jù)中心建筑物交付；2019年12月計(jì)劃交付5000臺(tái)機(jī)柜，2021年交付剩余全部機(jī)柜。

相較于1號(hào)園區(qū)，2號(hào)園區(qū)將采用風(fēng)側(cè)間蒸發(fā)冷卻技術(shù)，預(yù)計(jì)年平均PUE低于1.2。據(jù)說(shuō)宿遷數(shù)據(jù)中心的建設(shè)曾考慮引入周邊駱馬湖水做自然水源的冷卻方式，但是對(duì)生態(tài)環(huán)境的隱形影響無(wú)法評(píng)估，京東當(dāng)即拍板摒棄這種方式。

間接蒸發(fā)冷卻技術(shù)在國(guó)內(nèi)外數(shù)據(jù)中心均已有應(yīng)用，京東針對(duì)宿遷數(shù)據(jù)中心做了本土化定制，包括進(jìn)出風(fēng)結(jié)構(gòu)和尺寸等細(xì)節(jié)。單層數(shù)據(jù)中心，蒸發(fā)冷卻設(shè)備按在上部，熱通道封閉，熱風(fēng)蒸發(fā)向上進(jìn)入冷卻設(shè)備里面去，交換過(guò)的冷風(fēng)反送到服務(wù)器。多層數(shù)據(jù)中心蒸發(fā)冷卻設(shè)備放在側(cè)面，側(cè)進(jìn)風(fēng)側(cè)排風(fēng)。

初步測(cè)算，2號(hào)園區(qū)若采用風(fēng)側(cè)間蒸發(fā)冷卻，可以實(shí)現(xiàn)一年85%以上時(shí)間不啟動(dòng)機(jī)械制冷。

關(guān)于選址宿遷，還有一個(gè)故事。京東2012年開(kāi)始數(shù)據(jù)中心選址，調(diào)研了十多個(gè)城市，宿遷并不在其中，京東數(shù)據(jù)中心專家拿著100多頁(yè)的報(bào)告去向劉強(qiáng)東匯報(bào)，1個(gè)小時(shí)之后，劉強(qiáng)東發(fā)問(wèn)，“你們的數(shù)據(jù)中心為什么不選擇建在宿遷”？

從技術(shù)角度上，宿遷并不在傳統(tǒng)意義上的數(shù)據(jù)中心選址考慮之列。劉強(qiáng)東提出了兩個(gè)原則，第一，數(shù)據(jù)中心建在宿遷，盡快建成；第二，解決當(dāng)?shù)鼗ヂ?lián)網(wǎng)基礎(chǔ)設(shè)施薄弱問(wèn)題，通過(guò)數(shù)據(jù)中心促進(jìn)當(dāng)?shù)鼗ヂ?lián)網(wǎng)產(chǎn)業(yè)的調(diào)整和升級(jí)。騰訊在深圳、阿里在杭州、百度在陽(yáng)泉的數(shù)據(jù)中心等，都可以理解為互聯(lián)網(wǎng)大佬的家鄉(xiāng)情結(jié)，不過(guò)宿遷的網(wǎng)絡(luò)條件還是要更差得多。

網(wǎng)絡(luò)條件是京東華東數(shù)據(jù)中心面臨的所有難題中的最大瓶頸。為此，京東和三大運(yùn)營(yíng)商分別進(jìn)行了溝通，在模組1投產(chǎn)時(shí)，已經(jīng)實(shí)現(xiàn)中國(guó)聯(lián)通的骨干網(wǎng)絡(luò)從徐州直連宿遷，不必通過(guò)南京再返回，少了600km的線路延遲，實(shí)測(cè)過(guò)程中，數(shù)據(jù)從北京到宿遷相比到南京有更低的時(shí)延。

京東云通過(guò)自建BGP解決單運(yùn)營(yíng)商網(wǎng)絡(luò)中斷的問(wèn)題，三? ISP互為備份，京東云與各ISP直接互聯(lián)，緩解運(yùn)營(yíng)商大區(qū)間網(wǎng)絡(luò)通信異常問(wèn)題。京東云自建BGP作為電信運(yùn)營(yíng)商與京東云數(shù)據(jù)中心的中間層，以?級(jí)運(yùn)營(yíng)商的作?，向公有云/私有云/甚?是合作伙伴的數(shù)據(jù)中?提供質(zhì)量穩(wěn)定可靠互聯(lián)?接?服務(wù)。

各全國(guó)區(qū)域間均采?雙平面設(shè)計(jì)，雙活并互為備份。在區(qū)域內(nèi)，各數(shù)據(jù)中心雙上聯(lián)到2個(gè)骨?機(jī)房，通過(guò)骨?機(jī)房與各ISP互聯(lián)網(wǎng)、其它區(qū)域骨干網(wǎng)互聯(lián)。并且同區(qū)域的各數(shù)據(jù)中心之間互聯(lián)，通過(guò)骨?機(jī)房的雙星形結(jié)構(gòu)?跳到達(dá)，在確保傳輸成本利?率最?的情況下、確保了傳輸延時(shí)和質(zhì)量。

京東云業(yè)務(wù)的快速發(fā)展對(duì)數(shù)據(jù)中心提出了更高要求，雷鋒網(wǎng)獲悉，京東已經(jīng)在廊坊、張家口等地籌劃新數(shù)據(jù)中心的建設(shè)。

京東宿遷數(shù)據(jù)中心還有更多的黑科技尚待發(fā)掘，比如更先進(jìn)的浸沒(méi)式液冷、智能巡檢機(jī)器人等等，京東華東數(shù)據(jù)中心落地宿遷后，為當(dāng)?shù)靥峁┝嘶ヂ?lián)網(wǎng)基礎(chǔ)設(shè)施能力，吸引了一批互聯(lián)網(wǎng)企業(yè)遷入，與其說(shuō)京東選擇了宿遷，倒不如說(shuō)數(shù)據(jù)中心為宿遷打開(kāi)一扇通往互聯(lián)網(wǎng)的窗口。

相關(guān)文章：

數(shù)據(jù)中心和AI為何需要看似不起眼的先進(jìn)封裝技術(shù)？

黃仁勛：數(shù)據(jù)中心將成為巨無(wú)霸，但 AI 加速計(jì)算才是未來(lái)

5G時(shí)代需要什么樣的服務(wù)器和數(shù)據(jù)中心？ | MWC 2019

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。