183.17.231.* 2020-08-17 13:23:21 |
大數(shù)據(jù)平臺是集開發(fā)、配置、部署、管理、監(jiān)控、安全于一體的數(shù)據(jù)交換全生命周期管理的數(shù)據(jù)交換平臺。平臺可快速構(gòu)建、運行和管理分布式應(yīng)用系統(tǒng)間、云環(huán)境下應(yīng)用系統(tǒng)之間等數(shù)據(jù)交換共享任務(wù),可滿足各種大型應(yīng)用、各種復(fù)雜的網(wǎng)絡(luò)環(huán)境下的業(yè)務(wù)需求,尤其適用于跨部門、跨地域、跨層級的數(shù)據(jù)交換共享應(yīng)用。
數(shù)據(jù)交換共享平臺
傳統(tǒng)大數(shù)據(jù)平臺的一些常見問題:
1.數(shù)據(jù)孤島問題
傳統(tǒng)方式建設(shè)企業(yè)系統(tǒng)時,不同部門或團隊通常會構(gòu)建獨立的數(shù)據(jù)庫,導(dǎo)致的問題有:同一份數(shù)據(jù)存在于多個業(yè)務(wù)系統(tǒng)內(nèi)且內(nèi)容不一致,缺少統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)管理流程及可靠的管理工具,出現(xiàn)質(zhì)量問題時往往無法**追溯并修正。
2.煙囪開發(fā)問題
“煙囪”式架構(gòu)是傳統(tǒng)企業(yè)系統(tǒng)開發(fā)的弊病,不同團隊獨立建設(shè)、獨立開發(fā)服務(wù)和應(yīng)用,帶來安全、運維、升級、部署等通用功能的重復(fù)開發(fā)和投入問題,這種開發(fā)的低復(fù)用率帶來了巨大資源的浪費,難以形成技術(shù)合力,也不利于團隊間的研發(fā)管控和質(zhì)量提升。
3.技術(shù)門檻問題
大數(shù)據(jù)和AI的應(yīng)用與運維十分昂貴,無論是對于平臺建設(shè)、團隊建設(shè)還是業(yè)務(wù)探索而言都會帶來不小的開銷。將數(shù)據(jù)服務(wù)化、資產(chǎn)化、在線化,以方便客戶、技術(shù)開發(fā)人員和數(shù)據(jù)科學(xué)家使用,降低技術(shù)門檻是當(dāng)務(wù)之急。
數(shù)據(jù)交換共享平臺功能需求
1、統(tǒng)一的資源目錄管理:
支持統(tǒng)一的元數(shù)據(jù)管理,包括元數(shù)據(jù)的模型設(shè)計、模型審核、模型實施、模型驗證,以及模型版本管理、關(guān)系管理等;
支持資源的檢索與定位,便于服務(wù)的重用與維護;
2、**靈活的數(shù)據(jù)采集:
采用調(diào)度中心+決策中心相結(jié)合的分布式數(shù)據(jù)采集處理架構(gòu),支持多樣化的采集策略和多種抽取、匯總方式;
支持可視化任務(wù)編排、配置、規(guī)則定義及發(fā)布;
針對結(jié)構(gòu)化資源和非結(jié)構(gòu)化資源,以數(shù)據(jù)映射、數(shù)據(jù)裁剪、數(shù)據(jù)過濾的工具化手段進行數(shù)據(jù)處理;
3、集中式數(shù)據(jù)質(zhì)量管控
支持?jǐn)?shù)據(jù)質(zhì)量核查規(guī)則配置與管理,在數(shù)據(jù)采集清洗過程中完成數(shù)據(jù)質(zhì)量核查與告警;
支持對數(shù)據(jù)質(zhì)量告警的監(jiān)控和數(shù)據(jù)質(zhì)量問題的可視化呈現(xiàn);
提供知識庫管理和查詢,支持?jǐn)?shù)據(jù)血統(tǒng)分析和影響分析;
4、安全便捷的數(shù)據(jù)交換共享服務(wù)
支持以數(shù)據(jù)服務(wù)的形式封裝數(shù)據(jù),提供統(tǒng)一的數(shù)據(jù)開發(fā)共享能力;
數(shù)據(jù)服務(wù)封裝和開發(fā),支持WebService協(xié)議、FTP協(xié)議和數(shù)據(jù)庫等各類接口;
支持服務(wù)發(fā)布、訂閱及審核管理,同時支持對服務(wù)調(diào)用情況進行監(jiān)控,以確保平臺采集管理的數(shù)據(jù)正常實現(xiàn)交換共享;
大數(shù)據(jù)共享交換平臺的功能需求.中琛魔方大數(shù)據(jù)分析平臺(www.zcmorefun.com)表示大數(shù)據(jù)平臺讓數(shù)據(jù)的運用更靈活,讓數(shù)據(jù)共享交換變得隨時隨地、按需和便捷,充分調(diào)度計算設(shè)施、存儲設(shè)備、應(yīng)用程序等資源,滿足用戶多元化、復(fù)雜的需求,降低了開發(fā)、管理的難度。 |