(ChinaIT.com訊)截止到2022年,亞馬遜云科技的云上存儲已經進化了16年了,從AmazonS3對象存儲,到Amazon EBS塊存儲再到Amazon EFS文件存儲,從數據遷移、數據復制同步、數據災難恢復方案,都應有盡有。
從技術能力來看,亞馬遜云科技云上存儲在可靠性、可擴展性、安全性方面均處于業內領先位置,許多規范和標準都被行業廣泛借鑒。
從市場應用看,亞馬遜云科技不斷拓展云上存儲的應用邊界,不斷帶來新的可能,此前有媒體稱,亞馬遜云科技已經超越了傳統企業存儲公司成了最大的存儲公司,能做的事情也越來越多。
本文帶大家簡要認識亞馬遜云科技在存儲方面的獨到之處以及對于用戶的價值。
亞馬遜云科技存儲簡介
01、Amazon S3 對象存儲
Amazon S3最早發布于2006年,作為亞馬遜云科技的第一款云服務,它比Amazon EC2早了半年,如今Amazon S3上存著超過100萬億個對象,日常每秒需要處理上千百萬次請求。幾乎每一亞馬遜云科技用戶都在用Amazon S3,用戶在Amazon S3上存儲了大量數據。
Amazon S3的一個關鍵概念叫“Bucket(桶)”,它非常傳神地表現了幾乎所有類型的數據都能存的特點,可滿足用戶在各種行業、各種規模、各種應用、各種場景的數據存儲需求。
Amazon S3的用法非常簡單,無需關注任何背后的實現,用戶無需配置任何硬件,無需考慮運維擴容的問題,只需要按照需求設置好訪問權限(很關鍵、很重要,處理不好容易上新聞頭條),然后,就能在應用中對Amazon S3進行讀取和寫入操作。
作為一款堪稱云上基石的存儲,安全穩定是第一關鍵要素。天上的云朵到處飄,云存儲穩得一批。
Amazon S3全系最高進行了4個9的可用性設計和11個9的持久性設計,4個9的可用性意味著,一年里的平均宕機時間不超過1小時(3153.6秒),11個9的持久性意味著,平均每經過一萬年,你在Amazon S3上存的1000萬個對象會丟一個,只要不是故意手動刪除,幾乎不可能丟。
11個9的持久性要歸功于獨特的架構設計,亞馬遜云科技有Region(區域)的概念,每個區域有至少3個可用區(AZ),每個可用區有多個數據中心(許多云廠商在一個區域僅有一個數據中心),Amazon S3的數據分散在這樣的數據中心里,用戶大可放心。
目前,亞馬遜云科技在全球有26個區域和84個可用區,遍布全球的架構,一方面能解決一些國家和地區數據只能駐留在本地的要求,另一方面,也意味著更低的延遲體驗。
對于那些跨國企業來說,能用一套架構實現全球運營,Amazon S3里的數據在各個區域遷移復制也更方便,這是地區性的公有云服務商不能比的。
2021年,亞馬遜云科技發布了一個叫Amazon S3 Multi-Region Access Points(MRAP)的服務,應用不做什么調整,就可以通過一個全局的單一接入端點服務于后端多個存儲桶,使用Global Accelerate的技術,訪問被自動路由到最靠近使用者網絡的數據副本。這幫助多區域的應用提升了60%。
2020年年底,亞馬遜云科技對Amazon S3進行了一項重大更新,那就是支持強一致性,而不是原來的最終一致了。這意味著可以更好地支持大數據、機器學習等數據寫入后會馬上就讀的場景,這也是2021年亞馬遜云科技大張旗鼓地宣傳智能湖倉架構的一個技術原因。
總之,Amazon S3對象存儲如今是對象存儲領域的事實標準,許多對象存儲都以兼容Amazon S3作為賣點來介紹,無論對于用戶,還是行業,Amazon S3都有舉足輕重的影響。這里的介紹,只是皮毛。
02、Amazon EBS 塊存儲
亞馬遜云科技存儲的另外一個重點是Amazon EBS塊存儲,Amazon EBS最早發布于2008年,雖然發展了很多年,但塊存儲產品線并不復雜,按類別分,Amazon EBS分為磁盤型的和固態硬盤型的,按照場景不同,分為io優化型的(io1、io2)和通用型的(gp2和gp3)。
Amazon EBS的用法很簡單,Amazon EBS獨立于Amazon EC2實例運行,它就像是電腦的硬盤,它能靈活地掛載到同一個可用區里的任何Amazon EC2主機上,一個Amazon EC2可以掛載多個Amazon EBS,不僅如此,Amazon EBS還能靈活地擴容,靈活地能改變Amazon EBS的類型。
Amazon EBS非常安全可靠,在可靠性和安全性方面,Amazon EBS提供了加密、快照以及備份功能,它提供5個9的可用性和最高5個9的持久性設計,能安全地存儲數據。
Amazon EBS其實并不簡單,它號稱是云上的SAN存儲,帶有各種高級功能,性能也非常高,實際應用中,可用來取代本地存儲中的SAN存儲系統,用來跑各種數據庫等IO密集型應用。
【紅框里就是io2 Blockexpress的部分參數】
在2021年,隨著io2 Block Exprss的發布,EBS的性能達到了新高度,IOPS、吞吐帶寬都翻了四倍,還有最高亞毫秒級別的延遲表現,更堅定了用戶用EBS取代傳統中端SAN存儲,跑數據庫、ERP等關鍵應用的信心。
03、Amazon EFS 文件存儲
2016年,亞馬遜云科技發布了EFS文件存儲,這是一個非常簡單易用的Serverless的文件存儲系統,創建的時候可以像Amazon S3一樣,不用指定具體容量,伴隨著數據量的增長也完全不擔心擴容的問題,用戶只需按照用量付費即可。
Amazon EFS采用了11個9的持久性設計和最高4個9的可用性設計,性能很高,延遲很低,支持多達數萬客戶端的并發訪問,可適用于各種關鍵業務應用,可以很好地用作容器以及Serverless服務的持久存儲,還可以支持數據分析等需要短時間內訪問大量數據的場景。
文件系統原本就多種多樣,有開源的,有商業版的,按照使用場景不同也有很多種,EFS是完全誕生于云上的NAS共享存儲,在向云上遷移的過程中,原有的許多應用都有對應的文件系統,為了更好地遷移這類工作負載,亞馬遜云科技推出了FSx系列。
2018年開始,亞馬遜云科技陸續發布了FSx for Lustre和FSx for Windows File Server,隨后又陸續發布了FSx forNetApp ONTAP和FSx for OpenZFS,對應了市面上最常見的幾款文件系統,讓用戶在云上用上原來就一直在用的文件系統,告訴這部分用戶說,你可以上云了。
亞馬遜云科技在降低成本方面的努力
就像許多人終其一生都喜歡十七八歲的姑娘一樣,用戶對存儲的要求也沒多大變化,在可靠和性能的基礎上,存儲越便宜越好。亞馬遜云科技多樣性的存儲是為了對應不同應用場景,用更合適的解決方案實現更高的性價比。
這點在Amazon S3上體現的非常充分,Amazon S3存儲層級分了八層,按照不同場景進行最優使用。
對于需要經常訪問的數據,自然選擇標準版的Amazon S3,它能提供4個9的可用性,毫秒級的訪問表現。對于不太經常訪問的數據,比如需要經常傳照片的社交網站,可以選擇存在S3 Standard-IA上,相較于前者能節省大概40%的費用。
對于那些需要長期保存,但是訪問的時候又需要快速訪問的數據,可以存放在Glacier Instant Retrieval,這是最新的一個存儲層級,訪問性能跟標準的Amazon S3一樣,成本也非常低,從類型上看,這屬于在線歸檔存儲。
而對于那些需要長期保存,而且很少訪問的數據,則可以考慮Amazon S3 Glacier Deep Archive來離線歸檔,它的成本非常低,大約1美刀1個TB,但代價是,想把數據拿回來就得多等等,大概需要12到48個小時。
有人覺得這等的時間也太長了,于是,亞馬遜云科技又推出了Amazon S3 Glacier Flexible Retrieval,只需要等上幾分鐘到幾小時。
在降低成本的路上,Amazon S3可謂是出盡奇招。對于不怕丟,丟了還能重新創建的數據,用戶可以選擇Amazon S3 One Zone-IA,顧名思義,數據只存在單個可用區上,丟數據的風險高了些 ,但是成本更低了。
順便提一句,出于合規的要求,用戶有些數據不能上云,只能在本地的數據中心里,為了照顧這部分用戶,亞馬遜云科技拿出了Outposts,把云的硬件放到了用戶的數據中心里,當然,這樣一來訪問延遲會超級低,能滿足需要低延遲的應用場景。
【來自亞馬遜云科技官網控制臺】
上面提到了Amazon S3一共有6個存儲層級,加上Amazon S3 One Zone-IA一共算七層,用戶可以用生命周期管理功能來在各層之間遷移數據從而節省成本,如上圖所示,用戶只需設置對象自創建多少天后把數據遷移到別的層就可以了,操作起來,So easy!
少部分顏值比較高的朋友會發現,這種按照創建日期進行生命周期管理的方式雖然簡單,但略顯粗暴,有些數據創建了很久,但經常被訪問怎么辦呢?有些數據創建的那一刻就知道以后幾乎不會訪問,那還要存在成本更高的標準Amazon S3上嗎?
其實這是數據訪問模式的問題,為了解決這一問題,用戶可以考慮直接把數據傳到最新的Amazon S3 Intelligent-Tiering層,它會根據對象被訪問的次數進行自動化遷移,而且,應用無需做任何改動就能直接適應各種不同訪問模式,很多用戶都已經在用了。
如上圖所示,它包含了五個存儲層級,當數據剛傳到Intelligent-Tiering層,會先放在“經常訪問(FA)”層,如果有數據超過了30天沒有訪問,它會把數據放到下一層“不太經常訪問(IA)”的層,如果這里的數據有60天沒被訪問,那就繼續往下搬,搬到Archive Instant Access層。
以上三個都是在線存儲類型的,如果那些對象有90天沒被訪問,就放到歸檔存儲層,如果又過了180天還是沒人訪問,那就再搬到深度歸檔層。前三個層級的訪問速度都很快,而離線歸檔存儲的訪問時間就需要等上幾分鐘到幾十個小時那么久,好處是成本真的低。
值得一提的是,用Intelligent-Tiering的時候,第一個月可能成本比標準的Amazon S3還高,但是一個月之后就能明顯看到成本的節省,目前Intelligent-Tiering層已經在中國上線了,有興趣的可以試試。
還有顏值高的朋友又說了,數據Amazon S3都用了好多年了,當時也沒有這么多層級可選,也根本不記得有哪些數據放在哪兒,我怎么下手做調整啊。
于是,Amazon S3 Storage Lens出現了,它像是Amazon S3的一個統計管理工具,能幫用戶看見Amazon S3的使用概況,比如,哪些桶的容量增長的過快,哪些桶里有不完整的無用數據,哪些數據可以遷移到別的存儲層級等,這一服務能立竿見影幫Amazon S3的用戶節省成本,推出以來非常受歡迎。
與海量數據的對象存儲不同,塊存儲Amazon EBS本身容量也不大,對性能要求普遍偏高,所以,Amazon EBS本身沒什么分層的必要,在設置的時候直接選Amazon EBS類型就行了,與生命周期管理相關的是Amazon EBS快照的存儲、管理與使用,EBS快照本身確實很重要,這里不展開說了。
文件存儲Amazon EFS的容量相對較大,所以有分層的概念,按照類別分為四個層級,Amazon EFS標準版和Amazon EFS IA版,Amazon EFS OneZone和Amazon EFS OneZone-IA,OneZone只在一個可用區里存放數據,犧牲了可用性來換取更優成本。Amazon EFS也支持Intelligent-Tiering,啟用后最高可節省92%的成本。
存儲的衍生服務:數據保護,數據傳輸
【目前支持九種服務,未來還將支持更多服務】
2019年1月,亞馬遜云科技發布了集中式的數據保護服務Amazon Amazon Backup,請注意這個名字,它不只是亞馬遜云科技存儲的數據保護,而是面向包括存儲、各種數據庫以及Amazon EC2實例的綜合型備份管理服務,它能讓一個企業用戶的各種數據保護都在一個服務中完成。
【各種發布和更新的節奏有明顯加快】
隨后Amazon Backup除了支持各種云服務以外,也逐步添加了對云以外的數據資產的保護能力,比如,對于VMware的數據保護。最近發布了Amazon Backup for Amazon S3預覽版,顧名思義,是給Amazon S3準備的備份服務,你沒有看錯,現在連11個9的持久性的S3也有備份服務了。
本地數據中心準備的數據保護技術其實本身也非常成熟了,一些技術概念,比如增量備份,不可變備份等等其實都不新鮮,Amazon Backup的優勢是,能結合云上的各種豐富的服務,而且能把備份和恢復的操作難度降低到史上較低水平,許多都能“一鍵”完成。
當然,如你所知,只有備份是不夠的,亞馬遜云科技甚至還有對抗勒索病毒的一套技術,比如有防篡改的Ojbect Lock、Vault Lock,做數據隔離的各種東西,還有做智能掃描恢復的一套東西,從介紹來看,它實現起來會更簡便。
亞馬遜云科技其實也提供了容災服務,根據用戶業務對于RTO/RPO的要求以及預算不同,可以選擇不同的方案,以此來應對各種自然災害可能會造成的業務中斷等問題。云上的容災優勢也很明顯,比如,常說的兩地三中心之類的容災方案,用云的方式來實現其實也會更靈活。
亞馬遜云科技還有許多數據遷移工具,除了Snowball,Snowmobile這種離線的傳輸方式,還有Amazon DataSync、Amazon Transfer等幾個系列的在線傳輸方式,亞馬遜云科技還將StorageGateway存儲網關算成了數據傳輸的一種,顧名思義,它是可以打通云上云下的網關,用于構建混合云。
感謝耐心閱讀,以上就是關于存儲方面的簡要介紹,希望對想了解亞馬遜云科技存儲的朋友有所幫助。
來源:趣味科技v
責任編輯:Rex_08