數(shù)據(jù)中臺概述
SOA團(tuán)隊 2020-03-16
數(shù)據(jù)中臺是一套可持續(xù)的讓企業(yè)的數(shù)據(jù)用起來的機(jī)制，是一種戰(zhàn)略選擇和組織形式，是依據(jù)企業(yè)特有的業(yè)務(wù)模式和組織架構(gòu)，通過有形的產(chǎn)品和實施方法論支撐，構(gòu)建的一套持續(xù)不斷的把數(shù)據(jù)變成資產(chǎn)并服務(wù)于業(yè)務(wù)的機(jī)制。數(shù)據(jù)來源于業(yè)務(wù)并反哺業(yè)務(wù)，不斷的迭代循環(huán)，實現(xiàn)數(shù)據(jù)可見，可用和可運(yùn)營。
這里面最核心的就是將數(shù)據(jù)變化為資產(chǎn)并服務(wù)于業(yè)務(wù)的機(jī)制，數(shù)據(jù)來源于業(yè)務(wù)并反哺業(yè)務(wù)。我們基于這個核心內(nèi)容可以進(jìn)一步抽象下數(shù)據(jù)中臺對核心的定義，我個人理解和定義如下：
數(shù)據(jù)中臺本質(zhì)是一個能夠?qū)崿F(xiàn)跨域數(shù)據(jù)融合，并在數(shù)據(jù)融合后對數(shù)據(jù)進(jìn)行整合加工和分析，提供增值的數(shù)據(jù)服務(wù)能力給業(yè)務(wù)使用的一個平臺。在我這個概念里面多強(qiáng)調(diào)了兩點，一個是實現(xiàn)跨域數(shù)據(jù)融合，一個是提供增值的數(shù)據(jù)API服務(wù)能力給業(yè)務(wù)使用。
書籍里面提到了書籍中臺四個方面的關(guān)鍵能力：
書籍中臺需要具備數(shù)據(jù)匯聚整合，數(shù)據(jù)加工提純，數(shù)據(jù)服務(wù)可視化，數(shù)據(jù)價值變現(xiàn)4個核心能力，讓企業(yè)員工，客戶，伙伴能夠方便的應(yīng)用數(shù)據(jù)。而這個里面的數(shù)據(jù)提純加工對應(yīng)的是數(shù)據(jù)資產(chǎn)管理的核心內(nèi)容，即數(shù)據(jù)中臺必須通過連通全域數(shù)據(jù)，通過統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和質(zhì)量體系，建設(shè)提純加工后的標(biāo)準(zhǔn)數(shù)據(jù)資產(chǎn)體系，以滿足企業(yè)業(yè)務(wù)對數(shù)據(jù)的需求。
對于數(shù)據(jù)中臺必須要理清楚的一些關(guān)鍵概念差異
數(shù)據(jù)中臺和業(yè)務(wù)中臺的關(guān)系
我們先看下書里面的一些解釋，即業(yè)務(wù)中臺更加偏向于業(yè)務(wù)流程管控，將業(yè)務(wù)流程中的共性服務(wù)能力抽象出來，形成通用服務(wù)能力。而數(shù)據(jù)中臺則是抽象數(shù)據(jù)能力的共性，形成統(tǒng)一的數(shù)據(jù)服務(wù)能力。
對于上面這個解釋不足夠準(zhǔn)確，為什么呢？因為業(yè)務(wù)中臺本書也回抽象數(shù)據(jù)共性提供數(shù)據(jù)服務(wù)能力，類似業(yè)務(wù)中臺的供應(yīng)商中心，客戶中心本身也提供數(shù)據(jù)服務(wù)能力。那么時間最大的差異點在哪里呢？
即我們前面提到的，數(shù)據(jù)中臺是實現(xiàn)業(yè)務(wù)中臺核心共享數(shù)據(jù)的跨域整合，再通過加工后提供整合后的數(shù)據(jù)服務(wù)能力。這里面有兩個重點，即第一數(shù)據(jù)要跨域整合，第二數(shù)據(jù)要加工處理后再提供增值服務(wù)能力，這個加工可能簡單的匯總表，也可能是復(fù)制的底層數(shù)據(jù)模型和智能分析算法。
業(yè)務(wù)中臺重點是業(yè)務(wù)數(shù)據(jù)化，而數(shù)據(jù)中臺重點是數(shù)據(jù)業(yè)務(wù)化，數(shù)據(jù)來源于業(yè)務(wù)又反哺業(yè)務(wù)。就建設(shè)和支撐層面來說我原來也總結(jié)過，即業(yè)務(wù)中臺是基礎(chǔ)業(yè)務(wù)能力支撐，必須要有，數(shù)據(jù)中臺是增值能力支撐，剛開始沒有也不會影響到業(yè)務(wù)本身的運(yùn)作。
再簡單來說，以電商平臺來舉例，業(yè)務(wù)中臺關(guān)鍵功能缺失導(dǎo)致的是業(yè)務(wù)流程走不下去，在業(yè)務(wù)協(xié)同上出現(xiàn)問題。而數(shù)據(jù)中臺能力缺失導(dǎo)致的是沒能夠為用戶提供增值服務(wù)，讓用戶順帶多買點東西。
兩者的聯(lián)系，書里面有一句總結(jié)還是比較準(zhǔn)確，即數(shù)據(jù)中臺和業(yè)務(wù)中臺本身是相輔相成的，業(yè)務(wù)中臺中沉淀的業(yè)務(wù)數(shù)據(jù)進(jìn)入到數(shù)據(jù)中臺進(jìn)行體系化加工，再以服務(wù)化的方式支撐業(yè)務(wù)中臺上的應(yīng)用，而這些應(yīng)用產(chǎn)生的新數(shù)據(jù)又流轉(zhuǎn)到數(shù)據(jù)中臺，形成循環(huán)不息的數(shù)據(jù)閉環(huán)。
數(shù)據(jù)中臺和數(shù)據(jù)倉庫和大數(shù)據(jù)平臺
對于數(shù)據(jù)中臺和數(shù)據(jù)倉庫的區(qū)別，書里面的總結(jié)比較到位。即數(shù)據(jù)倉庫的主要場景是支持管理決策和業(yè)務(wù)分析，而數(shù)據(jù)中臺則是將數(shù)據(jù)服務(wù)化之后提供給業(yè)務(wù)系統(tǒng)，目標(biāo)是數(shù)據(jù)能力滲透到各個業(yè)務(wù)環(huán)節(jié)，不限于決策分析類應(yīng)用場景。數(shù)據(jù)中臺持續(xù)不斷的將數(shù)據(jù)進(jìn)行資產(chǎn)化，價值化并應(yīng)用到業(yè)務(wù)，而且關(guān)注數(shù)據(jù)價值的運(yùn)營。
這里面的關(guān)鍵區(qū)別就在于數(shù)據(jù)中臺能力要服務(wù)于業(yè)務(wù)系統(tǒng)準(zhǔn)實時協(xié)同需要。
為了準(zhǔn)實時，一方面你會看到數(shù)據(jù)中臺架構(gòu)上實際上是包括了大數(shù)據(jù)平臺的核心架構(gòu)和分布式存儲內(nèi)容，同時還包括了大數(shù)據(jù)平臺中的實時計算和流處理能力。其次，為了將能力提供給業(yè)務(wù)系統(tǒng)，往往數(shù)據(jù)中臺整體架構(gòu)上一定會體現(xiàn)一個統(tǒng)一的數(shù)據(jù)服務(wù)能力開放層，這個在傳統(tǒng)的數(shù)據(jù)倉庫或大數(shù)據(jù)平臺上是沒有的。
數(shù)據(jù)中臺和BI數(shù)據(jù)倉庫有重合，也有交集。相同的就是整個數(shù)據(jù)采集集成，數(shù)據(jù)存儲，數(shù)據(jù)模型構(gòu)建，數(shù)據(jù)開發(fā)和分析，這些都需要。差異點在于數(shù)據(jù)中臺需要有統(tǒng)一的數(shù)據(jù)服務(wù)能力開放層，提供給業(yè)務(wù)使用，而弱化了傳統(tǒng)BI里面的數(shù)據(jù)分析和報表展現(xiàn)層。
所以我們首先搞清楚數(shù)據(jù)中臺是為增值業(yè)務(wù)需求服務(wù)，BI平臺為管理經(jīng)營決策服務(wù)。這使得兩者在數(shù)據(jù)模型構(gòu)建，數(shù)據(jù)開放和提供策略上有差異，但是核心的技術(shù)平臺能力則是相同的。即你可以基于Hadoop整個技術(shù)框架體系來構(gòu)建數(shù)據(jù)中臺，也可以用來構(gòu)建BI數(shù)據(jù)倉庫。
數(shù)據(jù)中臺的業(yè)務(wù)賦能
簡單總結(jié)就是：業(yè)務(wù)數(shù)據(jù)化，數(shù)據(jù)資產(chǎn)化，資產(chǎn)服務(wù)化，服務(wù)業(yè)務(wù)化，業(yè)務(wù)智能化持續(xù)賦能業(yè)務(wù)閉環(huán)。
數(shù)據(jù)中臺作為整個企業(yè)各個業(yè)務(wù)所需數(shù)據(jù)服務(wù)的提供方，通過自身的平臺能力和業(yè)務(wù)對數(shù)據(jù)的不斷滋養(yǎng)（業(yè)務(wù)數(shù)據(jù)化），會形成一套高效可靠的數(shù)據(jù)資產(chǎn)體系和數(shù)據(jù)服務(wù)能力（數(shù)據(jù)資產(chǎn)化和資產(chǎn)服務(wù)化）。這樣當(dāng)面對市場變化，需要構(gòu)建新的前臺應(yīng)用的時候，數(shù)據(jù)中臺能夠迅速的提供數(shù)據(jù)服務(wù)能力。
數(shù)據(jù)中臺要求整個企業(yè)共用一個數(shù)據(jù)技術(shù)平臺，共建數(shù)據(jù)體系，共享數(shù)據(jù)服務(wù)能力。數(shù)據(jù)中臺的目標(biāo)是實現(xiàn)企業(yè)經(jīng)營的數(shù)據(jù)化，精細(xì)化，智能化，本質(zhì)是建立一套可持續(xù)讓企業(yè)數(shù)據(jù)用起來的機(jī)制。
數(shù)據(jù)中臺的建設(shè)
對于數(shù)據(jù)中臺的建設(shè)，實際上我們要看到兩個方面的內(nèi)容，第一就是單純的數(shù)據(jù)技術(shù)平臺的建設(shè)，第二就是數(shù)據(jù)內(nèi)容的建設(shè)。我剛才說了單純的數(shù)據(jù)技術(shù)平臺還可以用于BI分析，技術(shù)平臺能力本身就是相通的。對于技術(shù)平臺我們要考慮就是數(shù)據(jù)采集集成，數(shù)據(jù)存儲，數(shù)據(jù)處理加工和計算，數(shù)據(jù)分析各個層面的技術(shù)工具和組件。
對于數(shù)據(jù)內(nèi)容的建設(shè)，實際上包括了四個方面的內(nèi)容，書里面總結(jié)如下：
1. 技術(shù)體系（包括大數(shù)據(jù)存儲計算技術(shù)和數(shù)據(jù)中臺工具技術(shù)組件）
2. 數(shù)據(jù)體系（圍繞數(shù)據(jù)模型為核心，并圍繞數(shù)據(jù)資產(chǎn)全生命周期展開）
3. 服務(wù)體系（通過數(shù)據(jù)中臺的服務(wù)組件能力，將數(shù)據(jù)變?yōu)榉?wù)）
4. 運(yùn)營體系（將數(shù)據(jù)服務(wù)做為可運(yùn)營的商品一樣，來構(gòu)建一套運(yùn)營服務(wù)和管理體系）
數(shù)據(jù)中臺的架構(gòu)
對于數(shù)據(jù)中臺架構(gòu)后面還要單獨寫文章詳細(xì)描述，從書里面給出的架構(gòu)圖我們可以看到基本模式都是一樣的，即最底層事數(shù)據(jù)基礎(chǔ)設(shè)施和數(shù)據(jù)技術(shù)平臺。再往上分別是數(shù)據(jù)匯集，數(shù)據(jù)開發(fā)，數(shù)據(jù)體系，數(shù)據(jù)資產(chǎn)管理，數(shù)據(jù)服務(wù)幾個大模塊的內(nèi)容。
所以我們先看下整個數(shù)據(jù)中臺架構(gòu)里面大模塊分法上的一些思路。
數(shù)據(jù)匯聚和數(shù)據(jù)開發(fā)
這個分開為兩個大模塊是合理的，即數(shù)據(jù)匯聚僅僅只復(fù)制數(shù)據(jù)集成的事情，比如我們常說的數(shù)據(jù)采集，ETL方面的事情。而數(shù)據(jù)開發(fā)即是數(shù)據(jù)采集過來后還需要對數(shù)據(jù)進(jìn)行加工處理，比如形成寬表或匯總表，基于數(shù)據(jù)分析算法進(jìn)行數(shù)據(jù)匯聚計算形成新的數(shù)據(jù)結(jié)果等。
數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)體系
首先我們可以看到數(shù)據(jù)資產(chǎn)管理即我們常說的數(shù)據(jù)全生命周期管理，類似我們原來談MDM主數(shù)據(jù)管理經(jīng)常談到的元數(shù)據(jù)管理，數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)安全，數(shù)據(jù)創(chuàng)建變更全生命周期流程管理等都在該模塊能夠看到。
對于數(shù)據(jù)體系是否理解為不同的數(shù)據(jù)應(yīng)用域，書里面提到的數(shù)據(jù)體系包括了貼源數(shù)據(jù)，統(tǒng)一數(shù)倉，標(biāo)簽數(shù)據(jù)和應(yīng)用數(shù)據(jù)?？梢钥吹綌?shù)據(jù)本身分層，數(shù)據(jù)也可以分?jǐn)?shù)據(jù)域。
從全生命周期如何看數(shù)據(jù)？
如果從數(shù)據(jù)全生命周期來看，實際上我們可以看到可以分為數(shù)據(jù)的入庫過程，數(shù)據(jù)的存儲和模型構(gòu)建，數(shù)據(jù)的對外能力提供過程。對于數(shù)據(jù)的入庫包括了數(shù)據(jù)匯聚，數(shù)據(jù)開發(fā)；對于數(shù)據(jù)的存儲包括了數(shù)據(jù)模型和數(shù)據(jù)體系，對于數(shù)據(jù)對外能力提供包括了數(shù)據(jù)服務(wù)層構(gòu)建。
而實際的數(shù)據(jù)全生命周期管理剛好應(yīng)該是貫通前面幾個階段的一個完整管理和管控流程。
遠(yuǎn)行科技
遠(yuǎn)行云商
