183.17.231.*
2020-11-03 13:49:20 |
大數據領域每年都會涌現出大量新的技術，大數據技術可以挖掘出大規模數據中隱藏的信息和知識，為人類社會經濟活動提供依據，提高各領域的運行效率，甚至提高整個社會經濟的集約化程度。那么大數據計算包含哪些結構層次
(1)統一數據基礎層
我們通過各種方式采集到的豐富數據，在清洗、結構化后進入統一的ODS數據基礎層。
其主要功能包括：
-同步：結構化數據增量或全量同步到數據中臺
-結構化：非結構化(日志)結構化處理并存儲到數據中臺
累積歷史、清洗：根據數據業務需求及稽核和審計要求保存歷史數據、數據清洗
在權責方面，所有數據應該在源頭統一，統一所有的數據基礎層，并由一個團隊負責和管控，其他團隊無權復制數據基礎層的數據。
(2)數據中間層
我們進行數據建模研發，并處理不因業務特別是組織架構變動而輕易轉移的數據中間層。包括DWD明細數據中間層和DWS匯總數據中間層。
其主要功能包括：
-組合相關和相似數據：采用明細寬表，復用關聯計算，減少數據掃描。
-公共指標統一加工：基于OneData體系構建命名規范、口徑一致和算法統一的統計指標，為上層數據產-品、應用和服務提供公共指標;建立邏輯匯總寬表;
-建立一致性維度：建立一致數據分析維度表，降低數據計算口徑、算法不統一的風險。
在權責方面，面向業務提供服務之前，由統一的團隊負責從業務中抽象出源于業務而又不同于業務的數據域，再主導統一建設數據中間層，包括側重明細數據預JOIN等處理的明細中間層、側重面向應用可復用維度和指標的匯總數據中間層。特別是要由團隊負責將核心業務數據統一加入數據中間層。允許部分業務數據有獨立的數據團隊按照統一的OneModel體系方法論建設數據體系，ODS數據基礎層和DWD+DWS數據中間層因其統一性和可復用性，被稱為數據公共層。
(3)數據應用層
在面向應用提供服務時，業務團隊或深入業務線的數據團隊有極大的自由度，只要依賴數據公共層，即可自由的建設ADS數據應用層。
其主要功能包括：
-個性化指標加工：不公用性;復雜性(指數型、比值型、排名型指標)
-基于應用的數據組裝：大寬表集市、橫表轉縱表、趨勢指標串
大數據技術包含哪些結構層次.中琛魔方大數據平臺(www.zcmorefun.com)表示不同功能的模塊組合成一個具有實際應用價值的大數據分析平臺，實現對各種業務的前瞻性預測和分析，為用戶提供統一的決策分析支持，從而更好地突出平臺本身的價值。 |
您當前的位置: 首頁 > 行業貼吧 > 話題