2015年，一名畢業(yè)于斯坦福大學計算機系的碩士研究生胡安創(chuàng)辦并發(fā)布了一種名為IPFS的協(xié)議，旨在打造一種區(qū)別于http傳輸協(xié)議，面向全球、點對點的分布式版本文件系統(tǒng)。這一協(xié)議的出現(xiàn)，改變了傳統(tǒng)的中心化存儲，正引發(fā)新一輪數(shù)據(jù)存儲革命甚至掀起一場互聯(lián)網(wǎng)革命。

IPFS如何打破中心化存儲走向分布式？簡單來說，在IPFS網(wǎng)絡(luò)中，文件會被特殊加密的算法打散成若干個文件碎片，分散存儲到世界各地的IPFS網(wǎng)絡(luò)節(jié)點中，當用戶需要下載數(shù)據(jù)時，通過內(nèi)容尋址從最近的節(jié)點將碎片化的內(nèi)容再次拼接起來，從而替代以往IP尋址。

IPFS能夠有效解決中心化存儲帶來的高并發(fā)、數(shù)據(jù)冗余、存儲安全、隱私泄露、成本高昂等問題，不過，IPFS分布式存儲對基礎(chǔ)設(shè)施建設(shè)也有更高的要求和挑戰(zhàn)，如何解決這些挑戰(zhàn)是IPFS快速落地的關(guān)鍵。

上周，第九屆中國電子信息博覽會（CITE2021）在深圳會展中心圓滿收官，展會的重要組成部分2021深圳分布式存儲峰會針對加速IPFS基礎(chǔ)建設(shè)落地展開談?wù)摗?/p>

創(chuàng)新存儲架構(gòu)，按需分層

IPFS分布式存儲作為一種創(chuàng)新型的存儲架構(gòu)，弱化了中心化存儲的極致需求，節(jié)省了服務(wù)提供成本， 但同時也面臨創(chuàng)新存儲架構(gòu)都需要面臨的難題，用戶既需要大容量，也需要快速訪問，又需要低成本，還需要低功耗。

“其實很難找到一個存儲介質(zhì)或存儲設(shè)備能夠同時滿足這四個方面的用戶需求，但好消息是在創(chuàng)新存儲架構(gòu)時，也可以作為系統(tǒng)來滿足用戶各種存儲創(chuàng)建的需求，因為用戶的數(shù)據(jù)是要進行分層的，不同類型用戶數(shù)據(jù)有不同的存儲要求?！?西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼在2021深圳分布式存儲峰會上說道。

為此，西部數(shù)據(jù)提出“分層存儲”的概念，在“存儲金字塔”中根據(jù)應用場景的不同將存儲分為五層，從低到高依次為極冷存儲、冷存儲、溫存儲、熱存儲和極熱存儲。其中冷存儲和極冷存儲針對海量存儲的大數(shù)據(jù)，熱存儲和極熱存儲針對能夠提供快速訪問的快數(shù)據(jù)。

具體而言，極冷存儲層的寫入次數(shù)較少，數(shù)據(jù)需要長期歸檔，基礎(chǔ)金融數(shù)據(jù)、基本醫(yī)療資料以及廣電行業(yè)都屬于極冷存儲層，SMR HDD就適用于這樣的場景。冷存儲有高容量需求且讀取次數(shù)多，在線交易用戶畫像分析就是典型的冷存儲，可以使用大容量企業(yè)級HDD。

溫存儲層需要較高性能IOPS，有一定的帶寬要求，主流SSD/HDD適用于這樣的場景。高性能SSD適合熱存儲層，DRAM/SCM等新型內(nèi)存介質(zhì)適合極熱存儲層。

“針對冷存儲和極冷存儲，IPFS服務(wù)商幾乎在過去四個季度就走完了云服務(wù)商過去四年的硬盤演進過程，從8T進化到18T。相比升級到14T，升級到18T可以獲得同樣存儲容量的情況下，減少服務(wù)器數(shù)量和提高存儲密度，因此如今很多IPFS公司已經(jīng)在本季度考慮遷移到18T高密度硬盤上?！眲撜f道。

針對IPFS存儲痛點，優(yōu)化計算和存儲集群

IPFS分布式存儲需要解決的落地難題，除了作為一種新型存儲架構(gòu)都要解決的難題外，自身也有許多存儲痛點，具體包括數(shù)據(jù)吞吐量低、空間利用率低、擴容難、總體擁有成本高、運維低效以及故障懲罰高。

劉鋼表示，存算分離已經(jīng)是IPFS層面的共識，如果在IPFS的計算集群用7.68T的SSD，存儲集群中使用18T的高密度硬盤，存儲痛點將得到進一步改善?！坝?U60+18T的配置，相比傳統(tǒng)的4U36+16T的配置，機柜數(shù)減少了約46%，功耗減少了大約36%，大規(guī)模地降低了部署成本和運維成本?！?/p>

針對IPFS的存儲集群，西部數(shù)據(jù)目前有高密度的磁盤擴展柜、大容量的18T硬盤，還有Ultrastar DC SN640 NVMe SSD來作為緩存。

針對IPFS的計算集群，西部數(shù)據(jù)有Ultrastar DC SN640 NVMe SSD和 Ultrastar DC SN840 NVMe SSD寫密集型的SSD來提供支持?！拔覀儼l(fā)現(xiàn)有很多計算節(jié)點會把P1和P2功能的服務(wù)器進行拆分，因為P1可以并行，P2不能并行，但達到一定規(guī)模后再對P1和P2進行拆分，會發(fā)現(xiàn)雖然計算性能提高了，但兩個節(jié)點之間的數(shù)據(jù)傳輸會帶來一定的損失，這是采用高速的SSD緩存吃通過NVMe-oF連接到高速閃存池中，既降低成本，又提高效率?！眲撜f道。

目前已有不少廠商與西部數(shù)據(jù)合作，利用西部數(shù)據(jù)的存儲技術(shù)針對IPFS的解決方案。劉鋼介紹到，西部數(shù)據(jù)已經(jīng)與星辰天合、浪潮三方合作推出了IPFS解決方案，方案包括西部數(shù)據(jù)Ultrastar DC HC550 18T硬盤、浪潮英信服務(wù)器NF5466M5、XSKY文件存儲系統(tǒng)等關(guān)鍵組件。該方案不僅實現(xiàn)了快速部署、便捷運維，還有助于減少IPFS業(yè)務(wù)的異常情況帶來的損失，大幅度提升業(yè)務(wù)收益。

杉巖作為一家分布式存儲軟件提供商，同時采用西部數(shù)據(jù)的高密度硬盤和高密度的4U60存儲擴展機柜，提高密度降低成本，獲得高可靠性和高穩(wěn)定性。

在存儲廠商和IPFS廠商的共同努力下，IPFS分布式存儲的基礎(chǔ)設(shè)施建設(shè)正加速落地。

文中圖片源自西部數(shù)據(jù)

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

相關(guān)文章：

五十知「天命」，西部數(shù)據(jù)的存世之法

西部數(shù)據(jù)能更快推出RISC-V處理器的關(guān)鍵之一是什么？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。