【導(dǎo)讀】
「傲騰? 持久內(nèi)存為PayPal帶來(lái)的優(yōu)異成績(jī)，足以讓任何想突破“內(nèi)存墻”的企業(yè)躍躍欲試。」
(資料圖片)
如果問(wèn)起是什么在支撐人工智能發(fā)展，算力、算法、數(shù)據(jù)三要素會(huì)被反復(fù)提及。
看似是：算法模型的爆發(fā)式成長(zhǎng)和數(shù)據(jù)的爆炸式增速都遠(yuǎn)超算力的發(fā)展，算力應(yīng)該是這三要素中的瓶頸。
但這里其實(shí)漏了個(gè)知識(shí)點(diǎn)，一個(gè)至關(guān)重要的因素往往會(huì)被忽視，那就是存儲(chǔ)。
說(shuō)到底還是硬件的問(wèn)題，傳統(tǒng)內(nèi)存-存儲(chǔ)技術(shù)的升級(jí)步伐（帶寬、讀寫(xiě)速度）一直都遠(yuǎn)遠(yuǎn)滯后于算力的提升，因此形成了性能層面上的內(nèi)存墻。
盡管如此，如今的大數(shù)據(jù)和AI應(yīng)用還是會(huì)盡力把更多熱數(shù)據(jù)存入距算力更近、性能相對(duì)也更高的內(nèi)存中，但DRAM內(nèi)存容量有限且擴(kuò)展成本太高，因此在容量層面形成了同樣明顯的內(nèi)存墻問(wèn)題——這也將是我們?cè)谙挛闹兄饕懻摰膬?nèi)存墻問(wèn)題，這就不可避免地影響了AI技術(shù)的演進(jìn)與落地應(yīng)用，尤其是在大模型出現(xiàn)后。
圖說(shuō)：藍(lán)線代表目前CV，NLP和語(yǔ)音領(lǐng)域的SOTA模型，其訓(xùn)練的浮點(diǎn)數(shù)運(yùn)算量（以 FLOPs為衡量單位）平均每?jī)赡攴?5倍，紅線代表的Transformer模型，其模型運(yùn)算量更是平均每?jī)赡攴?50倍。但灰線所示的，依然遵循摩爾定律的內(nèi)存增長(zhǎng)僅為平均每?jī)赡攴?倍。
來(lái)源：https://medium.com/riselab/ai-and-memory-wall-2cb4265cb0b8
以金融業(yè)為例，它一直被稱(chēng)為AI理想的應(yīng)用落地領(lǐng)域之一，因?yàn)樵撔袠I(yè)保存著最為完善的歷史數(shù)據(jù)，方便展開(kāi)數(shù)字化、智能化。
但正是這種天然的優(yōu)勢(shì)使其在AI實(shí)踐中會(huì)更早遭遇容量上的內(nèi)存墻問(wèn)題。
這是因?yàn)榻鹑跀?shù)據(jù)自身具備海量、高維和稀疏特性，以及金融AI應(yīng)用對(duì)實(shí)時(shí)性的強(qiáng)烈需求，使得在金融領(lǐng)域中“內(nèi)存容量不足”出現(xiàn)的幾率及帶來(lái)的影響也會(huì)被成倍放大。
通過(guò)人工智能來(lái)進(jìn)行反欺詐檢測(cè)就是金融界在智能化時(shí)代的一大關(guān)鍵創(chuàng)新，同樣它也是會(huì)面對(duì)內(nèi)存墻挑戰(zhàn)的核心場(chǎng)景之一。
在其進(jìn)行風(fēng)險(xiǎn)防控的過(guò)程中，防控窗口期經(jīng)常稍縱即逝，因此它必須將盡可能多的數(shù)據(jù)導(dǎo)入內(nèi)存來(lái)進(jìn)行更為實(shí)時(shí)的處理和分析，如果內(nèi)存容量受限無(wú)法擔(dān)此重任，就可能會(huì)影響到檢測(cè)效率，也意味著對(duì)風(fēng)險(xiǎn)失去防范和及時(shí)發(fā)現(xiàn)及糾正的機(jī)會(huì)。
一些業(yè)內(nèi)人士甚至認(rèn)為，如果無(wú)法有效解決內(nèi)存墻問(wèn)題，那么包括金融AI在內(nèi)的各類(lèi)AI方案，都可能會(huì)面臨其商用化落地之路上的一大絆腳石。
解決方案不少，為何傲騰? 持久內(nèi)存成了突破內(nèi)存墻的金剛鉆？
作為全球最主流的在線支付、交易系統(tǒng)之一，PayPal一直都將欺詐預(yù)防能力作為其金融業(yè)務(wù)體系的重要保障，并擁有遠(yuǎn)低于行業(yè)平均水平的欺詐交易率，但盡管如此，PayPal依然會(huì)在這方面遭受每年超 10 億美元的損失。
為了實(shí)時(shí)識(shí)別新出現(xiàn)的欺詐模式，PayPal早早就上馬了一個(gè)具備強(qiáng)大欺詐預(yù)防模型的實(shí)時(shí)決策平臺(tái)，但在需要處理和分析的數(shù)據(jù)持續(xù)暴增后，這個(gè)平臺(tái)還是撞上了內(nèi)存墻問(wèn)題:
隨著其IT基礎(chǔ)設(shè)施上的總體數(shù)據(jù)以過(guò)百PB為基礎(chǔ)并以每年32%的比例增加，其反欺詐決策平臺(tái)的數(shù)據(jù)量也在逐年增長(zhǎng)，特別是主索引的規(guī)模也在不斷擴(kuò)大，一旦存儲(chǔ)它的各節(jié)點(diǎn)的內(nèi)存容量用盡，那就意味著平臺(tái)運(yùn)作中特別注意的實(shí)時(shí)性會(huì)受到影響，進(jìn)而也會(huì)影響欺詐預(yù)防和檢測(cè)的效率。
對(duì)此，最直截了當(dāng)?shù)慕鉀Q辦法就是堆DRAM內(nèi)存條，擴(kuò)展內(nèi)存容量。
不過(guò)，在SpaceX有望把飛向太空的成本拉低到數(shù)十美元/公斤的今天，告訴用戶(hù)因?yàn)镈RAM內(nèi)存很貴，所以需要為新系統(tǒng)多付一大沓賬單的情景顯然并不美好。
此外，這樣堆內(nèi)存的效率也并不理想，因?yàn)槭芟抻布O(shè)計(jì)，用于企業(yè)級(jí)的DRAM單條容量如今還是多以32GB和64GB為主，128GB已經(jīng)是妥妥難得一見(jiàn)的“高富帥”了，加上主流服務(wù)器內(nèi)存的插槽有限，就算全插128GB型號(hào)，擴(kuò)展后的總?cè)萘恳嗖粯?lè)觀。
可能有人會(huì)提議，要不咱換到GPU平臺(tái)試試？
這個(gè)想法其實(shí)比堆內(nèi)存條更糟，因?yàn)閷?duì)于非常倚重高并發(fā)、低時(shí)延數(shù)據(jù)交互的決策類(lèi)或推薦類(lèi)AI應(yīng)用來(lái)說(shuō)，GPU平臺(tái)的內(nèi)存（顯存）容量更低且擴(kuò)展性更差，就更不用說(shuō)數(shù)據(jù)在CPU與GPU之間交換走的PCIe接口效率問(wèn)題了。
堆料不行，改弦更張也不行，那么如何破局內(nèi)存墻？
答案就是：還是要擴(kuò)展CPU內(nèi)存子系統(tǒng)的容量，但卻不是使用DRAM，而是要用持久內(nèi)存，用英特爾? 傲騰? 持久內(nèi)存。
個(gè)中原因很簡(jiǎn)單：傲騰? 持久內(nèi)存能在輸出接近DRAM性能的同時(shí)，提供數(shù)倍于其的容量，單條最高目前已能達(dá)到512GB，用它來(lái)擴(kuò)展內(nèi)存容量，突破TB就是小菜一碟——如果是與第三代英特爾? 至強(qiáng)? 可擴(kuò)展處理器搭配的話，在一臺(tái)雙路服務(wù)器上僅僅是計(jì)算插裝傲騰? 持久內(nèi)存的容量，就能帶來(lái)8TB的增幅。
圖說(shuō)： 性能接近于DRAM的英特爾? 傲騰? 持久內(nèi)存
正好很巧的是，PayPal于2015年就開(kāi)始主要采用來(lái)自Aerospike的數(shù)據(jù)庫(kù)技術(shù)，而Aerospike正是最早支持英特爾? 傲騰? 持久內(nèi)存的數(shù)據(jù)庫(kù)廠商之一。其創(chuàng)新的混合內(nèi)存架構(gòu)（Hybrid Memory Architecture，HMA）經(jīng)過(guò)優(yōu)化，不但能幫助PayPal在其反欺詐決策平臺(tái)的節(jié)點(diǎn)中順利部署傲騰? 持久內(nèi)存，而且還可以將體量越來(lái)越大的主索引存入其中，而非DRAM中。
于是，擋在主索引存儲(chǔ)容量擴(kuò)展道路上的內(nèi)存墻，就這樣轟然倒下。
效果真香！PayPal兼得容量、成本、性能和數(shù)據(jù)恢復(fù)加速收益
PayPal做出的選擇效果如何？咱們用數(shù)字說(shuō)話。
在采用傲騰? 持久內(nèi)存加持的 Aerospike 實(shí)時(shí)數(shù)據(jù)平臺(tái)后，PayPal 基于其 2015 年的欺詐數(shù)據(jù)量和此前使用的平臺(tái)為基準(zhǔn)做了一個(gè)評(píng)估，它發(fā)現(xiàn)新方案可以將其欺詐計(jì)算的服務(wù)級(jí)別協(xié)議 (SLA) 遵守率從 98.5% 提升到 99.95%，漏查的欺詐交易量降到約為原來(lái)的1/30。
與這兩個(gè)核心數(shù)據(jù)相伴隨的，還有更多降本增效的數(shù)據(jù)，例如與先前的基礎(chǔ)設(shè)施相比，新方案使用的服務(wù)器總數(shù)量可以減少近 90%（從 1024 臺(tái)減少到 120 臺(tái)），以致相關(guān)硬件占用空間可減到約為原來(lái)的 1/8；又比如預(yù)計(jì)硬件成本可以從1250萬(wàn)美元降到350萬(wàn)美元，生生省掉了2/3的成本；再如新方案的吞吐量可增至原來(lái)的 5 倍，即每秒事務(wù)處理量從 20 萬(wàn)提升到 100 萬(wàn)等等。
更大、也更重磅的驚喜其實(shí)還在后面，PayPal發(fā)現(xiàn)傲騰? 持久內(nèi)存天生具備的數(shù)據(jù)持久性?xún)?yōu)勢(shì)對(duì)于其數(shù)據(jù)恢復(fù)能力的強(qiáng)化至關(guān)重要。
原先它將主索引存在斷電就會(huì)丟掉所有數(shù)據(jù)的DRAM里時(shí)，系統(tǒng)重啟后需要從更慢的存儲(chǔ)設(shè)備中掃描數(shù)據(jù)以便在DRAM中重建索引，而在新方案的支持下把主索引存入持久內(nèi)存后并設(shè)置數(shù)據(jù)持久化后，整個(gè)系統(tǒng)就可以在非常短的時(shí)間內(nèi)恢復(fù)并重新聯(lián)機(jī)。
至于有多快？大概是將重建索引的時(shí)間從原來(lái)的59分鐘縮短到現(xiàn)在的4分鐘，用時(shí)變成原來(lái)的約1/12！
以上這些多重收益匯總起來(lái)，PayPal的反欺詐實(shí)時(shí)決策平臺(tái)就迎來(lái)了春天：
即便有32%年數(shù)據(jù)增長(zhǎng)率的壓力，新平臺(tái)也依然可以實(shí)現(xiàn)經(jīng)濟(jì)高效的擴(kuò)展，并使PayPal保持99.95%的欺詐計(jì)算SLA遵守率，實(shí)現(xiàn)更短的節(jié)點(diǎn)重啟時(shí)間、更強(qiáng)的查詢(xún)性能和數(shù)據(jù)一致性，并保持全天候的高可用性（99.99%的運(yùn)行時(shí)間）。
還沒(méi)有One for All方案，但這一款你依然值得擁有
看到PayPal的實(shí)戰(zhàn)效果后，你是不是也在躍躍欲試了？
先別急，如果你的應(yīng)用也是決策或推薦類(lèi)的AI應(yīng)用，且主要是推理，特別是在CPU平臺(tái)上做推理，那么基于傲騰? 持久內(nèi)存的方案可能還真是能幫到你突破內(nèi)存墻的一個(gè)選擇。
但如果你面臨的，是基于GPU平臺(tái)訓(xùn)練AI模型時(shí)被顯存卡脖子的問(wèn)題，那么最新走紅的Colossal-AI可能才是你需要考慮和嘗試的方向。
其實(shí)這種情況也表明，面向內(nèi)存墻，現(xiàn)在整個(gè)產(chǎn)業(yè)界還遠(yuǎn)遠(yuǎn)沒(méi)有到能夠拿出一個(gè)One for All方案的時(shí)刻。要解決這個(gè)問(wèn)題，大家還要做好 “路漫漫其修遠(yuǎn)兮，吾將上下而求索”的準(zhǔn)備。
最后，讓我們?cè)僬f(shuō)說(shuō)那些與基于傲騰? 持久內(nèi)存的方案比較對(duì)路的應(yīng)用場(chǎng)景和用戶(hù)，他們其實(shí)還是值得試上一試的。
圖說(shuō)：英特爾? 至強(qiáng)? 可擴(kuò)展處理器與英特爾? 傲騰? 持久內(nèi)存的搭配組合
畢竟，目前與這款持久內(nèi)存產(chǎn)品搭檔的主力，是英特爾內(nèi)置了AI加速能力的第三代至強(qiáng)? 可擴(kuò)展處理器，這對(duì)算力+內(nèi)存的新產(chǎn)品組合，足以在實(shí)現(xiàn)大容量+持久內(nèi)存配置的同時(shí)，與多種面向英特爾? 架構(gòu)優(yōu)化的AI框架和軟件工具一起將AI推理的性能提升到足以滿(mǎn)足主流應(yīng)用需求的水準(zhǔn)。
而且再考慮到單臺(tái)服務(wù)器在大大擴(kuò)展內(nèi)存容量后可能會(huì)大幅減少服務(wù)器用量的收益，這其實(shí)不僅會(huì)省去一些采購(gòu)成本、管理成本和人力成本，在節(jié)能降耗、打造綠色數(shù)據(jù)中心方面，其實(shí)也是有一些潛在機(jī)會(huì)的。
了解更多內(nèi)容，請(qǐng)點(diǎn)擊閱讀原文。
責(zé)任編輯：Rex_08
營(yíng)業(yè)執(zhí)照公示信息