“你們不懂銀行。”
2014年,騰訊云數據庫第一次走出騰訊之外,試圖敲定一個關系不那么遠的客戶——微眾銀行,微眾銀行CTO看著眼前這套完全基于互聯網的分布式架構方案,兩個小時后,雙方誰也沒說服誰,留給騰訊云數據庫的只有這么一句話。
時過境遷,如今國產數據庫進入到越來越多的核心場景,集中式、分布式已經不再是問題,問題是是誰能更好地接住大規模替代需求,在Oracle和IBM DB2等西方數據庫生態的圍墻之外,新的高塔聳立入云。
(相關資料圖)
3月30日,據數據庫領域權威測評機構國際事務處理性能委員會(TPC,Transaction Processing Performance Council)官網披露,騰訊云數據庫TDSQL順利通過TPC-C基準測試,性能達到每分鐘8.14億筆交易(tpmC)。
TPC-C基礎測試榜單有數據庫“奧林匹克”之稱,此前,OceanBase分別在2019、2020年兩次打榜成功,更早之前,TPC-C基準測試榜單都是海外數據庫廠商如Oracle、IBM的名字。
TDSQL實現了每分鐘8.14億筆交易(tpmC)的成績,相比過去的7.07億的tpmC有不小的提升,并且在成本上,單位成本合1.27元/tpmC,只有過去的三分之一。
“必須要去打一次榜”
“我們認為,國產數據庫走到一定階段之后,必須要去打一次榜。不過打榜不是我們的核心目的,而是對TDSQL產品能力和過去15年在數據庫發展過程中的階段性總結。目前,TDSQL在應用場景上已經有了非常深厚的技術積累,產品能力和性能都達到了階段性突破,并在一些大型銀行核心系統中穩定運行。基于此,今年TDSQL團隊花費了兩個月的時間去參加打榜,期望借助權威的TPC-C測試審計對產品做一次全面的驗證。”騰訊云數據庫技術負責人潘安群表示。
以騰訊云數據庫TDSQL為例,其發展可以分為三個階段:
1、支撐騰訊集團自身的業務,比如Q幣充值和消費等;
2、TDSQL Inside,隨著騰訊云的發展,給各行各業的產業互聯網服務;
3、攻堅金融標桿,金融行業是數據庫領域里最難的場景。
第一個階段,騰訊的海量業務如騰訊廣告、騰訊視頻等業務,需要高可用性、海量并發的數據庫,對數據庫的彈性伸縮要求很高。騰訊云數據庫在這一階段主要做到數據不能有錯,同時支持海量的并發,騰訊自身的業務決定了TDSQL的發展。
“零幾年的時候,DBA是最苦惱的,因為需要不斷擴容才能夠滿足業務,而用戶一上來,整個系統又被沖垮,需要不斷地處理,每天晚上都在做擴容,當時真的是血與淚的經歷”,潘安群表示。
第二個階段,2009年之后,騰訊云開始對外提供服務,如前所述微眾銀行的金融場景,還有數字廣東等政務場景。此外,第七次人口普查、騰訊會議等需要大量復雜數據查詢、分析、儲存的能力,騰訊云數據庫系統變得越來越復雜,業務場景變廣,系統要求也變得更高。
第三個階段,金融領域被視為數據庫應用的標桿場景,如果一家數據庫能夠在金融場景立住,基本上就可以勝任大部分的業務場景。因此,銀行核心系統等數據庫的替換,也是國產數據庫最難啃下的一塊骨頭。
挑戰越大,意味著收益越大,國產數據庫一般是從周邊業務、創新業務入手,從小銀行到大銀行逐步遞進,一邊積累經驗,一邊打下標桿。盡管騰訊云數據庫TDSQL在微眾銀行得到證明,但想贏得傳統銀行的信任還需要更多的案例、更多的時間。
“他們認為,互聯網銀行和傳統銀行不一樣,無論是架構的復雜度,還是業務的復雜度,雖然有微眾銀行的案例打底,他們依然對我們的數據庫缺乏信心。張家港農商行是我們做的第一個標桿,他們是國內第一家敢吃‘螃蟹’的人,幾乎把銀行科技線所有人的職業生涯,都押在我們TDSQL身上。”潘安群說道。
張家港農商行是騰訊云數據庫TDSQL在國內第一個完成傳統銀行數據庫國產化的案例。此后,TDSQL持續深入金融核心,打造標桿產品,騰訊云逐漸在金融場景,目前已服務了國內排行前十銀行中的七家,助力20余家金融機構完成了核心系統替換,這一個不斷交互、不斷打磨、不斷信任的過程。
TDSQL產品第一階段主要解決強一致、高可用、彈性伸縮;第二階段加上了高性能、低成本、產品化;第三階段更多是在可用性、一致性等方面有了更高要求。
目前,可以理解為TDSQL的第四階段。“從政策推動和國家戰略來說,大規模復制已經開始了。”騰訊云數據庫總經理王義成表示。
王義成坦率地表示,過去騰訊云數據庫在跟一些友商在項目上POC、壓測過程中,其實有很多性能都遠超出客戶的要求,對于這些成果我們也期望能通過更權威的評測機構來做一次證明。
言而總之,騰訊云TDSQL希望借這次打榜,傳遞出自己的技術先進性,更希望能夠在金融客戶中實現規模復制,如何在客戶場景做傳統數據庫的兼容,國產化的快速替換,進而提升產品和運維的易用性,都是未來TDSQL的方向。
如何“打榜”?
TPC-C是OLTP數據庫性能測試唯一的國際權威榜單,整個過程模擬電商交易系統,核心有兩個指標,第一是每分鐘能夠處理的事務數tpmC,第二是性價比,通常依靠硬件的冗余,數據庫可以做到更高的性能,但客戶要看現實的性價比,不可能無限堆硬件,硬件成本、軟件成本、服務成本平攤之后的單位性價比,就很有參考意義。
測試主要分為四部分,一是8小時的滿壓力測試,要求整個系統處在穩定的狀態,能夠避免數據庫為了打榜故意短時間拉高性能指標,8小時足以看出數據庫的性能。此外,TPC-C要求性能標準規范要求波動率在2%以內,騰訊云TDSQL做到了0.2%以內。
二是故障容災測試。在滿載測試期間,模擬各種硬件的故障,比如審計員隨機選擇機器斷電,要保證數據不丟失,觀察系統在無任何人工干預下,請求量多久能完全恢復并且快速恢復到8.14億tpmC的極值。從實際測試結果來看,TDSQL在18秒就完成HA切換,對于大盤整體影響微乎其微。
后兩個測試是ACID測試,即數據庫的四大特性:Atomicity原子性、Consistency一致性、Isolation隔離性、Durablilty耐久性,以及最后的50%、80%壓力測試,這兩部分的難度,相比前兩部分較小。
從開始測試到測試完成,騰訊云數據庫TDSQL用了兩個月的時間,整個過程大概分為三個階段。首先,把單機性能做到極致;其次,轉到分布式水平擴展,讓數據庫性能隨機器數量線性增長;最后,利用1650臺物理機和1000臺虛擬機進行了8小時的壓力測試,確保系統穩定無故障,對數據庫的內存管理、鎖的機制、網絡模型、復制模型都進行了大量優化。
TPC-C的榜首位置已經許久沒有變化,在OceanBase之前,前二紀錄由Oracle和IBM保持,分別是2011年和2010的記錄。
行業觀點認為,采用集中式架構的傳統數據庫,性能無法達到目前的水準,分布式數據庫系統的擴展性要足夠好,才能解決傳統IOE集中式架構擴展性不足的問題。
而且從成本角度考量,不是每個數據庫廠商都愿意投入如此多的人力、時間和硬件資源成本。這些也是國外廠商沒有持續打榜的因素之一。
王義成介紹,TPC-C的榜單提供了相對公平的測試環境,當我們關注總榜的情況下也需要看單位成本。此次TDSQL創造的紀錄是每分鐘8.14億的交易量,對于這個量級,打個比方來說,目前銀行最大的業務系統峰值可能就是20億筆的交易(當天),20億筆的峰值平均在4-5個小時內完成,每分鐘處理的交易量遠遠低于8.14億。因此,8.14億的這個性能指標足以支撐全國所有核心系統的性能要求。
“雖然未來榜單的成績遲早會被超越,但實現單價(price/tpmC)1.27元人民幣是很有挑戰的。”他說。
騰訊云數據庫的行業策略
國產數據庫正在迎來最好的時代,從技術更替維度,亦或是產業環境維度,都是如此。
于技術維度,云計算開辟了一條新的賽道,沿著Oracle的車轍,其他數據庫廠商很難越過經驗和生態筑就的高墻,不論在國內和國外,AWS、騰訊云等云廠商,都走上了云數據庫這條賽道。
于產業環境維度,國內第一批數據庫興起于21世紀初的“核高基”等政策,完成了從無到有的過程,而在近年來波詭云翳的技術脫鉤潮流之下,數據庫作為現代企業的核心軟件,也迎來政策的又一波加持。
MySQL,PostgreSQL,MongoDB,Redis和Neo4j,關系型或者非關系型,所有數據庫都是時代的產物,每代數據庫都有自己的長征,而現在,到了國產數據庫攻堅的關鍵時期。
王義成表示,騰訊云的策略是內部先全面做好金融場景的整體復制,廣泛規模復制瞄準幾個子賽道,銀行、資管、保險。
“打標桿可以投入不少人‘死磕’,但真正到了復制階段,就要拼誰的業務質量更高,誰的效率更高,2022年下半年,我們已經開始大量投入關于精細化運營質量的打磨、升級的方案,并且在金融行業已經起到了初步復制效果,在能源、交通等行業賽道,正在做標桿案例的突破。”他表示。
王義成介紹,從行業傳導來看,2021-2022年,國有大行基本已經完成技術選型,現在12家股份制加6家國有大行和3家政策性銀行,大多數都做了整體框架的選擇。騰訊在大行和股份制銀行里數量相對占優,但大行和股份制銀行在選型時一般并不會只選一家。
城商行和農商行體系大多數并沒有完成選型的替換,今年騰訊云大批量復制的重點就是城商行和農商行,依靠大行的成熟案例和ISV的配合,爭取在城商行和農商行領域實現全面覆蓋。
一個銀行的核心系統至少十年以上才會做更新換代,如果不在這個周期內,該行的預算和更換動力就不會特別充足。
保險領域和銀行稍有不同,銀行更看重產品穩定性、產品精細化運營等能力,保險領域的國產化替換并不換核心業務系統,只是更換數據庫。大多數保險公司看重和Oracle的兼容性,騰訊云的策略是把Oracle兼容性的能力做得更豐富,圍繞數據遷移體系、Oracle評估體系,來切保險的市場。
金融資管賽道和保險、銀行不太一樣,重Oracle兼容性的同時又很重ISV,騰訊云在資管行業會在ISV的培訓中做更多投入,在相關子賽道做前續適配。其它托管的行業賽道主要還是以打標桿為主。
“就復制而言,金融行業是一個可以更好地進行批量復制的行業,對于行業know-how,我們還在學習階段,等看到行業有復制機會的點來投入,做客戶攻堅。”王義成說。
(本文首發鈦媒體APP,作者 | 張帥)
責任編輯:Rex_06