“5、4、3、2、1”伴隨著央視春晚的經典倒數讀秒,除夕鐘聲如約而至,禮花滿天新年新氣象。對比此時滿眼的熱鬧祥和,亦莊京東總部大廈以及各地數據中心中,數千名技術專家正寸步不離緊盯數據大屏,等待最后一波紅包互動的流量沖擊。00:23,紅包雨夾雜在新年的歡聲笑語中洋洋灑灑,作戰室內一片歡呼沸騰,“成了!扛住啦!”為這場完美的“紅包盛宴”畫上圓滿句號。
270分鐘春晚全球直播, 7輪口播引領不間斷流量洪峰,這次春晚紅包互動絕對震撼:全球華人參與京東APP紅包累計互動量達691億次;秒級調度近300萬個容器、超1000萬核算力資源,以超高彈性成功登頂云計算領域的“珠穆朗瑪峰”。京東智能客服言犀累計咨詢服務量達5.5億次。
時間回溯、加速流轉,定格在1月5日,那是中央廣播電視總臺宣布京東成為2022年春晚獨家互動合作伙伴的日子,京東為全國人民在虎年春節送出的一份份誠摯佳禮。但對于京東廣大的技術人員,1月5日卻是春晚紅包籌備戰正式拉開了序幕。
辭舊迎新的除夕不眠之夜,電視機前紅包飛揚,而電視之外的京東則是燈火通明,萬人協同好禮相送,想問那些徹夜不眠發紅包的人,有何感想?
掌控流量“密碼”!的@系統運維工程師陳榮
作為春晚互動籌備組內肩負各業務域名解析調度以及流量分配工作的陳榮,同很多同事一樣,是第一次參加春晚這么大而重要的項目。為了能夠確保每位用戶都能順利接入京東APP且數據流通有序,大家的備戰過程都是壓力山大。 “以前確實沒有見識過這么大的訪問請求量,數量級一上來,如果資源分配不合理,在流量洪峰時絕對是擁擠不堪的。”
俗話說扛住洪峰就要加設備擴資源,但盲目的“頭疼醫頭、腳疼醫腳”顯然達不到最佳的效果。“我們需要根據每個業務模塊的情況進行合理的流量調度,并根據動態變化來不斷調整……”
陳榮這樣類比:“大家可以想象高速公路,日常情況下車流路況都算良好,但在春運這樣級別的海量車況下,那一定會出現大塞車,而我們所做的就是預判路況和車況,指引車流通過不同的道路出城,避免擁堵。”所以為了更好做到資源分配以及敏捷響應,備戰團隊根據目前所掌握的數據,分析預判了大流量可能出現的環節,并同時做好對應的資源部署與調整;此外還率先預判了流量流轉的路徑,提前做好把控和引導;繪制了“流量地圖”來提前預判地域流量差異,確保“有限的資源用在刀刃上”,將“人算”做到最佳,才能更好扛住“天算”的考驗。
“以前的大年三十,我同家人一起看春晚;今年的大年三十,我要“站崗”為全國人民春晚紅包互動做保障。對于小家庭有些小遺憾,但特別有成就感,一個字:爽!”陳榮發自內心的說。“春晚這個項目讓我們有作戰的感覺,真的是成百上千的同事們一起竭盡全力做好這件事兒,那感覺很震撼。你會看到每一個人都在不斷查找問題并解決問題,履行自己的責任,特別有凝聚力!”
只要“劇本”不要“殺”的@產品經理鄭犇犇
產品經理鄭犇犇,在這次項目中擔負了一個十分重要的工作,用他的話說“創新性十足,絕對載入史冊”的那種,即籌備京東APP的鏈路備戰方案。簡單來說就是需要對整條鏈路進行詳盡的梳理:哪個環節遇到怎樣的異常該如何處理、哪些地方需要改動到什么程度才能應對挑戰……總而言之就是形成一套完備并準確的“劇本”,在各種紛繁復雜的情況下讓核心鏈路的資源得到優先級的保障。
要說“劇本”這個梗,可有意思!這算是京東這次整體備戰得出的創新殺手锏,是一種異常演練的預案。鄭犇犇這樣介紹春晚項目的備戰“劇本”: “你玩過劇本殺么?劇本殺的精髓就是不放過任何一種可能性,經過數輪搜證、層層抽絲剝繭,最終還原真相。這次春晚我負責的“劇本”也是要充分考慮各種不確定因素、甚至各種極端情況,從而保障春晚項目的順利進行,因為搞不清楚什么情況下,可能就有個突發情況影響了了用戶體驗。”
“準備劇本的過程挺難的!因為是從零開始,很多環節在之前的大規模場景中并不突出,但在這個項目里卻變成了‘C位出道’,所以整體的方案前后做了四版,最忙的時候連續幾天工作到夜里兩三點。雖然最終很多預先準備的預案操作都沒有用上,但確保萬無一失是必須的、很重要的!” 鄭犇犇自豪地表示:“往年的春晚我只是一個觀眾,而今年我成為了一個“參與者”,很有使命感。”
用春晚紅包與父母“異地交互同過年”@系統運維工程師胡柳
“家中父母年紀大了,提出今年除夕不回家過年的時候,他們還是那句話:沒關系,家里都挺好,不用惦記。但我知道他們心里十分牽掛我,以往每每在電視上看到關于京東的消息,他們都會跟我談起。”胡柳談起今年不能回家過年的時候眼眶還是紅了。“但參加這么有紀念意義的活動,想到背后的每一次點擊、每一次流暢的用戶體驗,也有自己貢獻的一份力量,就覺得又激動,又緊張,又自豪。我想今年春晚爸媽坐在電視機前一定也能感受到我和他們同過年!”
胡柳是“巾幗不讓須眉”的女工程師,在這次春晚互動備戰團隊中格外亮眼,當然這也與她肩負的工作有關:負責運維相關的保障工作,可以等同于極限挑戰。“接到保障任務的第一天,第一輪全鏈路壓測就已經開始了。為了更好支持項目,我們重大的壓測就做了七輪之多。每一次,通過京東云全鏈路監控系統去排查瓶頸點,與業務協同隨時發現馬上優化解決;尤其是系統調用資源的消耗情況,包括應用負載、數據訪問、網絡消耗等,都要針對性做到極致優化,試圖挑戰整個系統能達到的極限。”胡柳總結道。
春晚項目與以往大促的流量模型完全不同,既要參考以往的備戰經驗,又要摒棄之前的思維定式,不到一個月的備戰時間內,業務需求也在不斷變化帶來的挑戰很大,可以說這次是從過去粗放拼湊資源滿足復雜需求,過渡到了提升系統架構的高效敏捷能力來應對挑戰,尤其是鍛造大規模場景極端并發下的能力。
視春晚項目為生日禮物的@內容與創新研發部華曉春
“今年是虎年,也是我的本命年,這樣一個特殊的時間點能和團隊奮戰在春晚紅包互動保障的一線,對我來說是有非常意義的生日禮物。”華曉春團隊可以說是第一時間觸及到用戶體驗的模塊——人證核驗和證件OCR(文字識別)。“春晚紅包互動過程中肯定會出現很多參與其中的新用戶,實名認證、綁定銀行卡等人證核驗以及證件OCR(文字識別)這兩塊工作就特別關鍵,安全又快捷是大家都希望的。”華曉春說。但在流量洪峰的波及下,這塊工作的備戰也是意外頻發。“有一次,擴容剛剛完成,突然又有新的流量加入進來;再次擴容肯定來不及,怎么辦?抓緊時間溝通、協調、解決問題……最后經過幾輪深入的討論,可行的降級方案產生了。”
華曉春解釋春晚項目的難點:春晚紅包互動對京東云來說是第一次,它的業務邏輯是全新的,和京東618、京東11.11不同,注定有新的系統要開發上線,并支持高并發量。這些新的系統在高并發情況下,資源使用情況并沒有歷史數據參考,資源很難預測,資源調度相當于摸著石頭過河。據悉,京東的備戰團隊早早就預想并制定了分級標準來完成資源的動態調整與更新,這樣一來就可確保在互動過程中高優先級的應用系統盡量多得到資源使用機會,做到“更少資源辦大事兒”。
“其實技術人都想通過經歷大項目的挑戰來磨煉自己,我也是!春晚這個機會真的是期待已久,如今到了,特別興奮。想著第一次獨立支持春晚紅包互動這么個大項目,一定要打個漂亮仗!” 華曉春分享了他和兒子的關于春晚的小故事“我兒子剛上小學,我也會跟他溝通,我說今年爸爸不能在家陪你一塊兒過年,因為爸爸有一個非常難得的機會去為春晚項目做一個重點支持。他可能不一定明白我說的具體工作,但他知道這件事很重要。有一天我們壓測到很晚,早上才回到家,他那天正好起得比較早,他看到我,給了我一個擁抱。”
不管是細微之處見工夫的華曉春,還是與父母異地過春節的女工程師胡柳,都是京東技術人員的一個代表。京東第一次春晚亮相,有超3000名技術人員參與了該項目的技術攻關與保障工作,僅僅除夕當天就有將近2000人參與一線值守的技術保障,共計超萬名技術人員共同協同作戰。2022年春晚互動活動,不僅是近年來最大觀眾參與量的春晚項目,更是最具挑戰性的技術領域“珠穆朗瑪峰”。在史上最短的19天備戰時間里,京東技術人員終于打贏了有史以來最具挑戰、也是最漂亮的一仗!
責任編輯:Rex_08