在萬物互聯(lián)時代,無論是手機(jī)中不斷更新的短視頻,還是工廠中的大規(guī)模生產(chǎn)數(shù)據(jù),其背后都是對海量數(shù)據(jù)的存儲和調(diào)用,在數(shù)據(jù)大爆炸的時代背景下,革新存儲技術(shù)、降低存儲成本、提升數(shù)據(jù)存儲安全性、降低存儲運(yùn)維難度,已成為行業(yè)發(fā)展的重要命題。
(資料圖片)
針對存儲領(lǐng)域業(yè)務(wù)需求,京東云推出的新一代分布式存儲平臺——云海,作為全自研、高性能、統(tǒng)一引擎的存儲產(chǎn)品,歷經(jīng)10余年京東自身復(fù)雜的場景歷練,不僅能滿足各行業(yè)對云盤高性能、低延時的業(yè)務(wù)訴求,還通過打造存算分離技術(shù)架構(gòu),可為客戶節(jié)省整體基礎(chǔ)設(shè)施成本超30%,現(xiàn)已在存算分離、高性能計算、AI訓(xùn)練、大數(shù)據(jù)底層存儲等新興場景,以及音視頻存儲、圖片存儲、數(shù)據(jù)報表、災(zāi)備存儲、傳統(tǒng)存儲替代等傳統(tǒng)場景廣泛應(yīng)用。
歷經(jīng)10余年京東復(fù)雜場景歷練,自主研發(fā)分布式存儲系統(tǒng)云海
云海以全自研統(tǒng)一引擎為底座,提供塊存儲、分布式文件存儲、并行文件存儲、對象存儲、大數(shù)據(jù)存儲等5種存儲服務(wù)。支持標(biāo)準(zhǔn)X86服務(wù)器和各類國產(chǎn)化服務(wù)器,具備自研可控、超高性能、高可用性、極致低成本、安全、統(tǒng)一存儲等特點(diǎn)。
自研可控:云海為100%自研產(chǎn)品,全自主可控,已與所有主流國產(chǎn)化硬件兼容互認(rèn),并能實現(xiàn)兼容后性能無衰減,已在京東核心場景實現(xiàn)國產(chǎn)化實踐驗證
超高性能:云海塊存儲性能指標(biāo)百萬IOPS下平均延遲 <200μs,單集群輸出1000 IOPS,性能接近本地NVMe磁盤。
高可用性:采用全追加寫的新架構(gòu)模式,保障了多副本強(qiáng)一致性,100% 寫高可用,多副本故障下仍保持系統(tǒng)可用性。
極致低成本:塊存儲1.375 副本生產(chǎn)級EC,對象存儲低至1.1x 副本的低冗余,以及行業(yè)內(nèi)最大規(guī)模QLC-SSD的落地,成本技術(shù)指標(biāo)領(lǐng)跑行業(yè)。
創(chuàng)新性存算分離技術(shù)架構(gòu),綜合成本降低50%
云海通過其超低延時RDMA、創(chuàng)新性高容錯分布式一致性協(xié)議、用戶態(tài)NVMe等手段,將存算分離真正大規(guī)模應(yīng)用到生產(chǎn)環(huán)境中,實現(xiàn)了單實例讀寫延遲至100μs以內(nèi),單盤提供100萬級IOPS的極致性能,計算與存儲完全解耦。
云海自研的存算分離架構(gòu)為企業(yè)帶來更高的存儲可靠性、可用性和資源的擴(kuò)展靈活性,成功將磁盤利用率提升至90%。構(gòu)建存算分離架構(gòu)支撐的PaaS服務(wù),從而實現(xiàn):第一、計算和存儲解耦獨(dú)立,存算資源獨(dú)立調(diào)度,不再有固定配比,資源利用率提升到85%以上;第二、多副本高可靠的存儲產(chǎn)品,對業(yè)務(wù)呈現(xiàn)出永遠(yuǎn)“零故障”的存儲,業(yè)務(wù)層的可用性得到大幅提升;第三、資源徹底云化調(diào)度,擴(kuò)容操作秒級完成,極大釋放運(yùn)維人員的壓力。
目前基于云海的存算分離的技術(shù)架構(gòu)已在京東全面落地,相比存算一體的形態(tài),存儲資源利用率提升至85%以上,PaaS綜合成本降低達(dá)到50%。
全新發(fā)布云海一體機(jī),支持國產(chǎn)化硬件靈活滿足業(yè)務(wù)需求
云海可同時支持純軟授權(quán)或軟硬一體機(jī)形式獨(dú)立交付,也可作為存儲標(biāo)準(zhǔn)化產(chǎn)品,以純軟或軟硬一體機(jī)的形式集成在解決方案中輸出,客戶可根據(jù)實際需求靈活選擇。
軟件獨(dú)立輸出:支持靈活多樣的服務(wù)器配置,客戶原有服務(wù)器也可利舊使用。支持獨(dú)立輸出塊、文件、對象存儲等,存算分離下,綜合成本降低30%以上。
軟硬一體機(jī)模式輸出:云海推出極速型、性能型、通用型三大產(chǎn)品系列,全面覆蓋多種場景需,且均支持國產(chǎn)化硬件,靈活滿足業(yè)務(wù)需求。
云海高效支持存算分離、超算、音視頻等典型存儲場景
基于京東集團(tuán)內(nèi)部豐富的存儲應(yīng)用場景,以及對降本提效的極致追求,推動云海實現(xiàn)由實際業(yè)務(wù)推動的高速迭代。性能層面,云海已歷經(jīng)多年京東618、京東11.11 等高流量、高并發(fā)場景的實戰(zhàn)檢驗;行業(yè)層面,已覆蓋零售、物流、金融、健康、工業(yè)等行業(yè)的不同業(yè)務(wù)應(yīng)用場景。
在過往的京東618中,基于云海的存算分離系統(tǒng)架構(gòu),使得原本由于性能問題很難全面實施的存算分離得以落地,面對吞吐量TB/s、IOPS上億級的壓力,依然能夠提供如絲般順滑的存儲體驗。
京東云為某頭部網(wǎng)絡(luò)音頻平臺打造穩(wěn)定經(jīng)濟(jì)的雙活存儲平臺,基于云海高可靠、低成本、強(qiáng)安全的分布式對象存儲和塊存儲服務(wù),定制化設(shè)計主備雙活存儲解決方案,系統(tǒng)上線運(yùn)行兩年以來,從未出現(xiàn)故障,并通過冷熱數(shù)據(jù)全生命周期管理,實現(xiàn)綜合成本降低20%~30%。
國內(nèi)某消費(fèi)金融公司通過對海量數(shù)據(jù)進(jìn)行深度挖掘,獲得了業(yè)務(wù)的高速增長,然而,隨著存儲集群規(guī)模迅速擴(kuò)張,帶來巨大的成本壓力。京東云為其提供了云海大數(shù)據(jù)存儲+對象存儲服務(wù)解決方案,存儲集群規(guī)模從原來的上千臺降至400余臺,綜合降本超過60%,獲得更優(yōu)的成本效率及可擴(kuò)展性。
面向未來,京東云云海將繼續(xù)深耕產(chǎn)業(yè),針對政府、醫(yī)療、金融、汽車等多個行業(yè)的特定場景,持續(xù)打磨技術(shù)產(chǎn)品能力,提供更高性能和更優(yōu)性價比的存儲服務(wù),為產(chǎn)業(yè)深度數(shù)字化加速。
責(zé)任編輯:Rex_16