隨著互聯(lián)網(wǎng)的不斷發(fā)展以及通信技術(shù)的不斷升級，將會催生并累積大量的用戶、業(yè)務(wù)數(shù)據(jù)，而這些數(shù)據(jù)也將成為國家、產(chǎn)業(yè)以及企業(yè)的基礎(chǔ)性資源，是價值巨大的“金礦”。根據(jù)市場調(diào)研機構(gòu)IDC預(yù)計，2018年全球數(shù)據(jù)量達33ZB，未來全球數(shù)據(jù)總量年增長率將維持在50%左右，到2025年，全球數(shù)據(jù)總量將達到163ZB。

然而，據(jù)統(tǒng)計，這些海量數(shù)據(jù)中只有10%~15%的數(shù)據(jù)是被經(jīng)常訪問的，而絕大部分都會在產(chǎn)生之后逐漸變冷。這些數(shù)據(jù)雖然訪問量低，但是仍然需要保存和備份。如果將數(shù)據(jù)不進行分類而按照統(tǒng)一的存儲方案進行存儲，將會造成資源和成本的極大浪費。因此，海量的數(shù)據(jù)在給存儲廠商帶來巨大機遇的同時，對存儲技術(shù)的要求也變的更加苛刻。
 
大數(shù)據(jù)時代存儲面臨的挑戰(zhàn)有哪些？

1、成本問題：海量的存儲數(shù)據(jù)，必然導(dǎo)致存儲成本的上升，如何優(yōu)化存儲解決方案，實現(xiàn)成本最優(yōu)化，是存儲廠商在激烈的市場競爭中不得不面對的問題；

2、數(shù)據(jù)的分類：目前，業(yè)界根據(jù)數(shù)據(jù)訪問頻率將數(shù)據(jù)粗略分為熱數(shù)據(jù)、溫和數(shù)據(jù)和冷數(shù)據(jù)，然而，關(guān)于數(shù)據(jù)分類的具體定義方案，至今業(yè)內(nèi)仍沒有統(tǒng)一的標準；

3、存儲數(shù)據(jù)的維護和搬遷：在數(shù)據(jù)維護過程中，定期對存儲介質(zhì)的健康情況進行檢測，保證數(shù)據(jù)的完整性；在存儲設(shè)備使用壽命完結(jié)時，如何對數(shù)據(jù)進行搬遷，也是數(shù)據(jù)管理者必須考慮的問題；

4、數(shù)據(jù)價值的體現(xiàn)：毋庸置疑，數(shù)據(jù)價值的重要性已經(jīng)不可否認，然而對于存儲廠商來講，如何讓長期存儲的海量數(shù)據(jù)，在被需要的時候充分、及時的服務(wù)人類需求，體現(xiàn)其價值也是同樣重要的；

5、數(shù)據(jù)安全：一方面是指數(shù)據(jù)的安全性，保證存儲數(shù)據(jù)不丟失，這是數(shù)據(jù)存儲的基本要求，這不僅需要存儲介質(zhì)安全可靠，還需要不斷的設(shè)備維護、檢修；另一方面是指數(shù)據(jù)的隱私保護，如何保證數(shù)據(jù)信息不被竊取和篡改，也是存儲工作面臨的挑戰(zhàn)。

當(dāng)然這些挑戰(zhàn)，不僅僅是靠存儲廠商單一力量能夠解決的，還需要云服務(wù)商，系統(tǒng)平臺廠商甚至企業(yè)客戶共同配合解決。單從“存儲”這一角度出發(fā)，全球核心存儲廠商早已不止局限于存儲介質(zhì)的研發(fā)，更是從存儲架構(gòu)本身著眼，推動產(chǎn)業(yè)朝著更大容量、更低成本及更高性能的方向發(fā)展。

傳統(tǒng)存儲架構(gòu)瓶頸

目前，傳統(tǒng)的存儲架構(gòu)主要分為三層：內(nèi)存、SSD和硬盤，面對5G和AI的發(fā)展推動產(chǎn)生的海量的待存儲數(shù)據(jù)，現(xiàn)有存儲結(jié)構(gòu)瓶頸將會日益凸顯。從產(chǎn)品層面看，不得不克服的難點主要有三點：首先，大量的數(shù)據(jù)分析需要大內(nèi)存，現(xiàn)有的內(nèi)存容量不能滿足；其次，SSD層面速度不夠快，不能及時調(diào)動SSD或者存儲在更下層硬盤或磁盤中的存儲資源；再者，內(nèi)存及SSD價格昂貴，企業(yè)要面對巨大的存儲設(shè)備投資。

海量數(shù)據(jù)存儲，性能及成本問題均需優(yōu)化，異構(gòu)存儲或?qū)⒊蔀榇髷?shù)據(jù)存儲的最優(yōu)解

在競爭激烈的存儲產(chǎn)業(yè)中，從不缺乏技術(shù)創(chuàng)新和產(chǎn)業(yè)突破，以3D NAND為例，從2014年三星量產(chǎn)32層128Gb TLC閃存顆粒，到2019年全球六大核心原廠均實現(xiàn)96層3D NAND量產(chǎn)，且鎧俠（原東芝存儲器TMC）成功量產(chǎn)96層QLC 3D NAND(1.33Tb)，單顆Die的容量增長逾10倍，時間卻僅僅用了5年的時間。

在競爭激烈的存儲市場中，產(chǎn)品的先進性和優(yōu)化的產(chǎn)品成本一直都是各大廠商在激烈的市場競爭中角逐的核心武器，因此在面對海量數(shù)據(jù)存儲需求帶來的更高產(chǎn)品性能和更優(yōu)存儲成本的要求時，如何在降低TCO的前提下，保證產(chǎn)品性能，成為大家共同關(guān)注的問題，這時異構(gòu)化存儲概念逐漸進入大家的視線。

什么是異構(gòu)化存儲？

異構(gòu)存儲就是根據(jù)各個存儲介質(zhì)讀寫特性的不同發(fā)揮各自的優(yōu)勢，將不同特性的數(shù)據(jù)存儲在合適的存儲介質(zhì)中。

所謂不同特性的數(shù)據(jù)，通常是根據(jù)訪問頻率的不同，分為熱數(shù)據(jù)、溫數(shù)據(jù)和冷數(shù)據(jù)，目前業(yè)內(nèi)尚無明確定義的標準。

常用的存儲介質(zhì)為四類：DRAM、NAND、HDD和磁盤，其性能依次減弱，對于訪問頻率較高的熱數(shù)據(jù)，可以選擇性能較高的DRAM，其次是以NAND為介質(zhì)的SSD產(chǎn)品進行存儲，而訪問頻率不高的冷數(shù)據(jù)放在成本較低的磁盤中，比如HDD、磁帶等，發(fā)揮存儲介質(zhì)優(yōu)勢的同時優(yōu)化存儲方案的成本。

當(dāng)然，異構(gòu)化存儲是一個很寬泛的概念，細數(shù)目前國際六大存儲原廠：三星、鎧俠、西部數(shù)據(jù)、美光、英特爾和SK海力士，在異構(gòu)化存儲上均有布局，但是每個公司的發(fā)力點有各不相同，我們將六大核心原廠的異構(gòu)化存儲布局分為縱向和橫向兩大維度分別說明。

縱向異構(gòu)存儲：存儲級內(nèi)存（SCM）市場增長已獲得越來越多關(guān)注

存儲級內(nèi)存解決思路：在內(nèi)存和閃存存儲層中間插入若干層緩沖層，減少每一層間的速度差，使存儲結(jié)構(gòu)更加平滑，填補了原有層級間的空白，在數(shù)據(jù)中心存儲領(lǐng)域形成合力。

存儲級內(nèi)存（SCM），具有如下幾個突出特點：
1、非易失性
2、高性能，極短的存取時間（DRAM-like）
3、大容量，固態(tài)，無移動區(qū)（SSD-like）
4、致力于降低總存儲成本

英特爾率先布局，三星、鎧俠跟進，美光亦看好內(nèi)存級存儲！
 
談到存儲級內(nèi)存（SCM），不得不提及英特爾，英特爾在六大存儲原廠中是率先布局存儲級內(nèi)存市場，自2015年就宣布成功研發(fā)3D Xpoint技術(shù)，主要布局傲騰系列產(chǎn)品。

英特爾在DRAM與SSD之間新增三級，包括傲騰DC持久內(nèi)存、傲騰固態(tài)盤（3D XPoint）和QLC 3D NAND固態(tài)盤，每一層的速度差僅為10倍。除了在存儲架構(gòu)上發(fā)力之外，英特爾配合處理器資源優(yōu)勢，形成組合拳，用來滿足企業(yè)不斷增加的大數(shù)據(jù)分析需求。

近日，有媒體報道，繼英特爾與美光分手后，英特爾獨立開發(fā)了新一代3D Xpoint，新一代技術(shù)存儲單元層數(shù)會翻一倍，從原來的兩層增加到四層，Die 容量會從128Gbit（16GB）翻倍到256Gbit（32GB），隨著芯片的存儲密度的提升，這必然會降低每GB的成本，從而降低終端產(chǎn)品的價格。

報道稱，新一代3D Xpoint技術(shù)，由Intel位于新墨西哥州的Fab 11X工廠負責(zé)開發(fā)，不過生產(chǎn)依然由美光所負責(zé)。

除英特爾大力發(fā)展之外，三星、鎧俠（原東芝存儲器TMC）也相繼發(fā)布了布局數(shù)據(jù)中心市場的Z-NAND和XL-FLASH，其產(chǎn)品也是定位存儲級內(nèi)存（SCM），用來解決內(nèi)存和閃存之間的性能鴻溝。關(guān)于這三種產(chǎn)品詳情請點擊：http://www.chinaflashmarket.com/News/2019-08/167453

憑借低廉的成本，更高的容量，QLC SSD或?qū)⒃谧x取密集型應(yīng)用大放異彩！

除了在內(nèi)存級存儲（SCM）層面的技術(shù)研發(fā)，在SSD層級中存儲廠商也在不斷追求更高的存儲容量及更低的產(chǎn)品成本。

QLC技術(shù)作為還未被普及的更低成本、更高密度存儲解決方案，由于其壽命問題及可擦寫性低，理論可擦寫性只有150次（TLC理論擦寫1500次）被長期詬病，然而，近期，三星、美光及西部數(shù)據(jù)開始強調(diào)QLC在讀取密集型應(yīng)用方面的優(yōu)勢。

其中，三星表示，十分看好QLC在針對讀取為主要應(yīng)用場景的應(yīng)用潛力，因為在成本角度看，QLC SSD主要優(yōu)點是在全生命周期TCO的產(chǎn)品相當(dāng)于萬轉(zhuǎn)磁盤的1/3。

為了滿足不同場景下日益增長的需求，三星從單一的SSD產(chǎn)品現(xiàn)在已經(jīng)構(gòu)建了從Z-SSD到QLC SSD的全方位產(chǎn)品線，除了SSD產(chǎn)品之外，三星也在積極打造存儲級內(nèi)存（SCM），目前SCM產(chǎn)品已經(jīng)通過標準化認證。

縱觀美光產(chǎn)品線，目前美光是業(yè)界唯一能滿足各方面需求的廠商，從低延時高性能的DRAM、3D XPoint、到高密度QLC NAND SSD方案，用來滿足下一代數(shù)據(jù)中心需求。

圖片來源：網(wǎng)絡(luò)

美光科技于去年5月份與英特爾共同宣布成功出了首款商用64層3D QLC NAND產(chǎn)品，開始生產(chǎn)和出貨，新的QLC NAND技術(shù)可以達到單Die 1Tb的存儲密度，從而為讀取密集的云存儲應(yīng)用帶來顯著的成本優(yōu)勢。

此外，美光采用QLC NAND技術(shù)的SSD(5210 ION)也已經(jīng)開始對戰(zhàn)略合作伙伴的客戶出貨，美光該系列產(chǎn)品有更低的成本、更高的容量，用來滿足AI、大數(shù)據(jù)、商業(yè)智能、內(nèi)容交付和數(shù)據(jù)庫系統(tǒng)等讀取密集云存儲需求。

日前，美光表示，對于讀取密集型應(yīng)用來講，QLC NAND存儲產(chǎn)品的可靠性比HDD更高，讀取密集型應(yīng)用應(yīng)該將下一代存儲設(shè)備切換為QLC NAND產(chǎn)品。

美光表示，對于需要大量數(shù)據(jù)讀取的應(yīng)用來說，其對訪問速度要求較高，而固態(tài)硬盤的工作壽命是與寫入周期數(shù)進行定義的，因此可以相對延長使用壽命。

西部數(shù)據(jù)于2018年Q4量產(chǎn)QLC閃存顆粒，并進行送樣。西部數(shù)據(jù)認為，如果解決產(chǎn)品的寫入限制問題，QLC產(chǎn)品可以經(jīng)濟高效地實現(xiàn)存儲密度的深度擴展。西部數(shù)據(jù)的分區(qū)存儲技術(shù)，成功實現(xiàn)了對QLC寫入壽命損失的有效管理、同時大幅提升產(chǎn)品耐久性，進而詮釋系統(tǒng)存儲效益最大化和數(shù)據(jù)中心TCO的最優(yōu)化。

橫向異構(gòu)存儲：去集群化分區(qū)架構(gòu)，實現(xiàn)工作負載的合理優(yōu)化，降低成本

分區(qū)存儲解決思路：利用可編程的去集群化的基礎(chǔ)架構(gòu)，劃分數(shù)據(jù)區(qū)域，有效提高數(shù)據(jù)中心服務(wù)器存儲效率，對工作負載進行合理優(yōu)化，從而提高性能和效率，實現(xiàn)總體擁有成本最低。

提及分區(qū)存儲的代表企業(yè)，西部數(shù)據(jù)當(dāng)之無愧，西部數(shù)據(jù)認為，目前存儲產(chǎn)業(yè)主要通過增加存儲密度的方式提升存儲容量，如采用提升3D NAND的層數(shù)，目前3D NAND的層數(shù)已經(jīng)提高到96層，但是這樣的提升挑戰(zhàn)也越來越大。

西部數(shù)據(jù)認為，提高存儲能力不應(yīng)僅僅停留在存儲介質(zhì)本身，要重新看整個數(shù)據(jù)的基礎(chǔ)架構(gòu)，通過開源、通過標準化，和業(yè)界各方攜手共同推動問題解決。

今年6月份，西部數(shù)據(jù)推出分區(qū)存儲技術(shù)，其核心是實現(xiàn)SMR－HDD、ZNS-SSD同一架構(gòu)下的數(shù)據(jù)存儲和訪問，為此，西部數(shù)據(jù)發(fā)布了libZBC、libZNS共享庫，以及開發(fā)工具，支持文件系統(tǒng)和內(nèi)核模塊設(shè)計，從軟件棧的角度，為SMR-HDD應(yīng)用掃除障礙，同時兼顧SSD的需要。

圖片來源：西部數(shù)據(jù)

為了推動分區(qū)存儲技術(shù)使用，西部數(shù)據(jù)采取了開源策略，開發(fā)者、生態(tài)合作伙伴可以通過ZonedStorage.io 訪問來獲取這些開源的信息。

除西部數(shù)據(jù)之外，SK海力士也看好分區(qū)存儲解決方案，今年3月份，SK海力士推出下一代企業(yè)級標準的ZNS SSD解決方案，SK海力士預(yù)計在2020年初完成開發(fā)并推出ZNS SSD商業(yè)產(chǎn)品。

SK海力士該解決方案包括SK海力士開發(fā)的ZNS SSD軟件，比現(xiàn)有的SSD快30%，改進后增強4倍的使用壽命，是下一代數(shù)據(jù)中心的理想解決方案。

毋庸置疑，在科技發(fā)展日新月異的今天，存儲產(chǎn)業(yè)的未來一定是光明而璀璨的，但是在前進的道路上，每個人可能選擇的路不同，然而“市場”是檢驗一切方案的試金石，誰能在殘酷的市場競爭中脫穎而出，仍需要時間給出答案。