構(gòu)建數(shù)據(jù)中臺：提高企業(yè)數(shù)據(jù)價值的關(guān)鍵

不同部分的崗位，都面臨著需要拿數(shù)據(jù)的時候，即便拿到了數(shù)據(jù)，但又常常出錯，若出現(xiàn)這樣的場景，說明需要該改造一下你們的數(shù)據(jù)平臺了。本文總結(jié)了如何搭建高效的數(shù)據(jù)平臺的步驟，希望對你有所幫助。

引言

作為產(chǎn)品經(jīng)理，你剛上線一個功能，想讓研發(fā)幫你把數(shù)據(jù)拉出來進行分析，卻被告知需要排期。

(資料圖)

作為數(shù)據(jù)研發(fā)，每天有查不完的數(shù)據(jù)和寫不完的表，工作能力沒有任何提升。

作為數(shù)據(jù)分析師，你每天被業(yè)務的老大催著要各種報表和看板。

作為業(yè)務部門，你需要的數(shù)據(jù)遲遲拿不到，即使拿到了也經(jīng)常出現(xiàn)錯誤。

在公司，你是否有遇到過這樣的場景？如果有，說明是時候該改造一下你們的數(shù)據(jù)平臺了。

一、什么是數(shù)據(jù)中臺

那什么又是數(shù)據(jù)中臺呢？數(shù)據(jù)中臺顧名思義就是把數(shù)據(jù)進行統(tǒng)一管理的平臺。它是把公司所有的數(shù)據(jù)，包括業(yè)務運行產(chǎn)生的數(shù)據(jù)、用戶的行為數(shù)據(jù)、以及外部第三方的數(shù)據(jù)，進行統(tǒng)一的、規(guī)范的、完整的、準確的采集、存儲、加工、管理，并且為前臺業(yè)務提供數(shù)據(jù)服務的平臺?？梢园阉斫鉃閭}庫的貨架，而數(shù)據(jù)就是貨架上的貨物，被分門別類的擺放在貨架之上。

二、數(shù)據(jù)中臺的價值

那它又有什么價值呢？第一，打通數(shù)據(jù)孤島，一般企業(yè)都會有多條業(yè)務線，不同業(yè)務線數(shù)據(jù)存儲在不同數(shù)據(jù)庫。

第二，降低數(shù)據(jù)開發(fā)成本，數(shù)據(jù)中臺的可拓展性強和維護成本低。

第三，數(shù)據(jù)統(tǒng)一規(guī)范管理后，數(shù)據(jù)的準確性和時效性都會得到極大的提升。

第四，數(shù)據(jù)資產(chǎn)得到沉淀，可發(fā)揮的價值和潛力無限。如用戶畫像、標簽體系、個性化推薦、趨勢預測等等。

三、數(shù)據(jù)中臺構(gòu)建的步驟

如果你們公司要準備搭建數(shù)據(jù)中臺，又該如何下手呢？首先我們需要知道數(shù)據(jù)中臺由哪幾個部門組成，通常我們會說數(shù)據(jù)中臺是負責數(shù)據(jù)的“采、存、管、用”，即數(shù)據(jù)的采集、存儲、管理和應用。

其次，作為產(chǎn)品經(jīng)理應如何開展工作。

第一步：先明確目前公司的數(shù)據(jù)現(xiàn)狀，存在哪些問題？是時效性低還是數(shù)據(jù)準確性低？或者又是業(yè)務量日益增長，當下數(shù)據(jù)應用為業(yè)務賦能有限？根據(jù)當前的問題確定這次數(shù)據(jù)中臺建設的目標。

第二步：調(diào)研公司目前的業(yè)務范圍，涉及到哪些數(shù)據(jù)范圍？可以根據(jù)業(yè)務類型進行分類，劃分成相對獨立的數(shù)據(jù)模塊，如流量域、交易域、商品域等。一般是以源系統(tǒng)為切入點，從常用的系統(tǒng)入手如CRM系統(tǒng)、ERP系統(tǒng)、訂單系統(tǒng)等，通過對各系統(tǒng)的數(shù)據(jù)梳理，完成總體結(jié)構(gòu)的劃分。

第三步：尋找數(shù)據(jù)規(guī)則來源，很多系統(tǒng)沒有標準的數(shù)據(jù)文檔，就只能去找系統(tǒng)的負責人、產(chǎn)品經(jīng)理或者開發(fā)人員對接，詢問相關(guān)的數(shù)據(jù)規(guī)則正確性。另一方面，還需要在這個過程中明確數(shù)據(jù)服務的相關(guān)業(yè)務方，以便同步數(shù)據(jù)規(guī)則與業(yè)務邏輯的一致性。

第四步：進行數(shù)據(jù)邏輯的規(guī)劃，這是數(shù)據(jù)體系的核心內(nèi)容，也是數(shù)據(jù)建模的主要內(nèi)容，需要通過數(shù)據(jù)模型完成各數(shù)據(jù)主題與數(shù)據(jù)表之間的關(guān)系設計。

一般主流數(shù)據(jù)建模的方法有兩種。

一種是E-R建模，即實體、屬性、關(guān)系三元組建模，常用于OLTP數(shù)據(jù)庫建模，缺點是需要全面梳理公司所有業(yè)務和數(shù)據(jù)，周期長，人員要求高；

另一種是緯度建模，是面向分析場景而生，主要用于數(shù)據(jù)倉庫構(gòu)建喝OLAP引擎底層數(shù)據(jù)模型，優(yōu)點不需要完整的梳理業(yè)務流程和數(shù)據(jù)，實施周期根據(jù)數(shù)據(jù)主題邊界而定，容易快速實現(xiàn)demo。

第五步：完善數(shù)據(jù)信息，確定數(shù)據(jù)范圍和邏輯模型之后，還需要明確數(shù)據(jù)字典中個數(shù)據(jù)的基礎定義、統(tǒng)計口徑與業(yè)務定義，從而讓數(shù)據(jù)字典成為標準的執(zhí)行文檔。

四、數(shù)據(jù)中臺的行業(yè)應用

金融行業(yè)：

泛零售行業(yè)：

政務行業(yè)：

技術(shù)與業(yè)務共同驅(qū)動數(shù)據(jù)中臺走向云原生，但很多所謂的“云原生”仍是對傳統(tǒng)單體架構(gòu)的改造，實現(xiàn)資源完全彈性擴展仍有待提高。存算分離是大數(shù)據(jù)低成本落地的保障，并將是真正云原生的顯著特征。數(shù)據(jù)中臺中的重要組件將遵循存算分離架構(gòu)，云原生技術(shù)具有天然的對象體系、容器化編排、CI/CD、跨云多域數(shù)據(jù)治理等特性，可以滿足企業(yè)客戶對數(shù)據(jù)安全、合規(guī)數(shù)據(jù)合作技術(shù)等需求，推動數(shù)據(jù)中臺走向云原生。

趨勢二：數(shù)智融合

數(shù)智融合是構(gòu)建數(shù)據(jù)治理和AI開發(fā)的統(tǒng)一底座，讓數(shù)據(jù)和人工智能相互作用。其中，Data for AI 通過對元數(shù)據(jù)統(tǒng)一管理，打通數(shù)據(jù)分析與AI模型引擎，實現(xiàn)基于一份數(shù)據(jù)多模分析，提升數(shù)據(jù)驅(qū)動決策的準確性和可信性；AI for Data 將人工智能算法模型的能力植入到數(shù)據(jù)治理，實現(xiàn)自動發(fā)現(xiàn)數(shù)據(jù)管理的規(guī)則。這種數(shù)據(jù)與AI的結(jié)合方式能夠有效提升數(shù)據(jù)治理的智能化水平，并降低數(shù)據(jù)治理門檻。

趨勢三：泛中臺化

5G時代的到來，人工智能、物聯(lián)網(wǎng)等創(chuàng)新技術(shù)不斷發(fā)展。隨著多設備接入、多系統(tǒng)數(shù)據(jù)融合互聯(lián)互通，形成新的數(shù)據(jù)孤 島，對企業(yè)的智能用數(shù)發(fā)起新的挑戰(zhàn)。

值此時刻，數(shù)據(jù)中臺的理念體系逐漸完善，相關(guān)產(chǎn)品、規(guī)范以及標準也趨向統(tǒng)一， 落地經(jīng)驗也得到積累，大數(shù)據(jù)項目紛紛與數(shù)據(jù)中臺結(jié)合，數(shù)據(jù)中臺開始從概念熱點向項目起點轉(zhuǎn)變。隨著企業(yè)對中臺認知 的增強，業(yè)務場景需求的解決方案/產(chǎn)品也趨于“中臺化”： IoT中臺、算法中臺、研發(fā)中臺、組織中臺、AI中臺等中臺 產(chǎn)品體系不斷豐富。

以IoT中臺為例，是相對數(shù)據(jù)中臺層次更上的抽象和高級，包含了采集平臺、通信中臺和數(shù)據(jù)中臺的 全部特性，支持除數(shù)據(jù)分析、處理、交易等抽象業(yè)務服務外的采集和通信能力，相對數(shù)據(jù)中臺更加貼合企業(yè)業(yè)務場景，為 未來智慧城市建設提供更加深入和精細化的基礎能力。

數(shù)據(jù)中臺是一個非常龐大的系統(tǒng)，每一個部分單獨拿出來講都可以講很多，而這遍文章只是拋磚引玉，是對過去學習到的關(guān)于數(shù)據(jù)中臺知識的簡單總結(jié)，對于想要知道數(shù)據(jù)中臺大概是什么、解決什么問題有個整體的初步了解，關(guān)于數(shù)據(jù)建模、數(shù)據(jù)指標體系建設、數(shù)倉搭建、BI可視化等后面可以再詳細展開寫一寫。

本文由 @Glee smile 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自 Unsplash，基于 CC0 協(xié)議

責任編輯：Rex_23