通信界訊 數(shù)據(jù)的發(fā)展能夠產生什么樣的魔法效益？跑步、騎車這類曾經被很多人在中學時代視為枯燥的耐力項目，隨著秒表/碼表發(fā)展成為了智能表/功率計，讓更多人在數(shù)據(jù)的爆發(fā)中發(fā)現(xiàn)此前未知的自我，比賽過程中運動員所實時共享出的數(shù)據(jù)，也大大提升了觀賞度。如今，云計算大數(shù)據(jù)也照樣在體育賽事中嶄露頭角，足球比賽中實時分析產生的跑動距離、點球方位的統(tǒng)計，F(xiàn)1賽事中對于排位賽晉級圈速的估算、正賽中車輛之間的實時距離，全部給予了觀眾耳目一新的感覺。
這一切的背后正是數(shù)據(jù)的發(fā)展，不同位置多種來源的數(shù)據(jù)源源不斷的產生，如同一堆混亂的表格文件，在企業(yè)主的桌面上堆砌，其中蘊涵著無數(shù)可能，也充滿了管理的煩惱。數(shù)據(jù)大爆發(fā)的背后，數(shù)據(jù)生態(tài)系統(tǒng)架構也正在朝向未來進化。
未來數(shù)據(jù)生態(tài)系統(tǒng)架構
談及未來數(shù)據(jù)生態(tài)系統(tǒng)架構，普遍被大家所提及并達成共識的莫過于數(shù)據(jù)網(wǎng)格、數(shù)據(jù)編織、湖倉一體這三個概念。
數(shù)據(jù)網(wǎng)格是指一種范式轉變，其中數(shù)據(jù)由業(yè)務中的不同域擁有和管理�！八南敕ㄊ菙�(shù)據(jù)與產品思維的融合，這個產品是講企業(yè)內部里數(shù)據(jù)對外提供服務的方式。 ”Cloudera大中華區(qū)技術總監(jiān)劉隸放解釋稱。以往企業(yè)在分析領域的思路多是集中式的管控，對外進行服務，而數(shù)據(jù)網(wǎng)格范式基于域主權、數(shù)據(jù)為產品、自助式數(shù)據(jù)平臺、聯(lián)合計算治理四項原則。通過域主權，數(shù)據(jù)成為一個產品，部門之間可以以產品的方式調用，規(guī)避了“影子IT”所帶來的一系列問題。
數(shù)據(jù)編織是一種跨平臺的數(shù)據(jù)整合方式，它不僅可以集合所有業(yè)務用戶的信息，還具有靈活且彈性的特點，使得人們可以隨時隨地使用任何數(shù)據(jù)�！拔覀儸F(xiàn)在要做的事情，可能不光對人工的方式、手動數(shù)據(jù)管理進行服務，也要對未來的機器學習、自動的發(fā)現(xiàn)方式、對外進行服務，在這個框架里比以前要求更高。 ”劉隸放表示過去手動的元數(shù)據(jù)管理現(xiàn)在正在被一種積極主動的通過機器學習來構建元數(shù)據(jù)的方法取代。Gartner在今年提出數(shù)據(jù)編織的終極目標是為了數(shù)據(jù)的集成和訪問提供一種更靈活的，無縫的自動化的方式，其中主要包括能夠連接的服務與提供自助的服務。
湖倉一體集成并統(tǒng)一了數(shù)據(jù)倉庫和數(shù)據(jù)湖的功能，旨在支持單一平臺上的AI、BI、ML和數(shù)據(jù)工程。其集數(shù)據(jù)倉庫與數(shù)據(jù)湖之所長，并規(guī)避了兩者存在的一些問題，適用于數(shù)據(jù)分析和機器學習工作負載，擁有減少數(shù)據(jù)冗余、成本效益，易于數(shù)據(jù)版本控制、治理和安全性等多重優(yōu)勢�！坝辛撕䝼}一體，我們可以在同一個平臺里同時實施數(shù)據(jù)倉庫和數(shù)據(jù)湖的需求，這個時候會提高成本效益。 ”劉隸放表示湖倉一體去其實也是降本增效的一個思路。
人人獲益的三種方法論
值得一提的是，這三種正在被外界廣泛討論并認可的方法論其實本身并不矛盾。劉隸放認為面對企業(yè)內部的不同角色，就需要講不同的數(shù)據(jù)架構和方法論。
對于公司CEO或CIO而言，由于更關注如何在管理成本和維護人員規(guī)模的同時進行擴展，自然會關心數(shù)據(jù)網(wǎng)格，進而平衡企業(yè)內不同業(yè)務部門在組織架構下的數(shù)據(jù)所有權，以及數(shù)據(jù)和產品服務的方式。
對于CTO或CSO而言，其真正關心的是如何做技術方案與分析系統(tǒng)，保持一致性并構建標準模式，數(shù)據(jù)編織自然成為了關注的焦點，如何用數(shù)據(jù)編織的方法豐富數(shù)據(jù)倉庫的構建方式，能夠為將來機器學習自主的治理提供服務。
對于領域從業(yè)者或技術人員而言，湖倉一體則更為受用，可以理解為方法論，也可以理解為工具，尋求在具體項目上的優(yōu)化。
Gartner曾經表示：“未來數(shù)據(jù)的生態(tài)系統(tǒng)應該充分的利用分布式數(shù)據(jù)管理組件，可以在多個云和/或本地進行運行，但應該被視為具有高度自動化的緊密的整體，像集成、元數(shù)據(jù)管理和治理功能將各個組件粘合在一起。 ”
這就意味著，關于數(shù)據(jù)未來的三種方法論其實將會有機的融為一體，最終讓企業(yè)中的每個角色獲益。
擁抱混合數(shù)據(jù)未來
Cloudera的新定位恰恰呼應了企業(yè)數(shù)據(jù)架構的未來，這家混合數(shù)據(jù)公司給出的定位是：我們提供適用于數(shù)據(jù)編織、數(shù)據(jù)湖庫、數(shù)據(jù)網(wǎng)格和未來數(shù)據(jù)生態(tài)系統(tǒng)架構要求的混合數(shù)據(jù)平臺的混合數(shù)據(jù)平臺，允許客戶在多個公共和私有云以及本地訪問和分析數(shù)據(jù)，使企業(yè)能夠做出由數(shù)據(jù)驅動的明智決策，幫助企業(yè)建立由數(shù)據(jù)驅動的未來。
實際上，CDP（Cloudera Data Platform） 是業(yè)界唯一適用于數(shù)據(jù)編織、數(shù)據(jù)湖庫、數(shù)據(jù)網(wǎng)格和未來數(shù)據(jù)生態(tài)系統(tǒng)架構要求的混合數(shù)據(jù)平臺。 Cloudera的數(shù)據(jù)平臺實現(xiàn)了對于現(xiàn)代數(shù)據(jù)架構的全面支持，產品技術能夠適應數(shù)據(jù)網(wǎng)格、數(shù)據(jù)編織、湖倉一體這三種架構概念，同時在多云和本地部署上，都可以做到管理和分析。Cloudera的分析代碼經過一次編寫即可跨平臺運行。另外，SDX還能夠做到數(shù)據(jù)的統(tǒng)一安全管控和治理。
以靈活且簡單的方式建立數(shù)據(jù)驅動型文化、以性能和成本效益驅動價值、以速度和控制拉動企業(yè)增長是Cloudera擁有的三大核心優(yōu)勢�！拔覀內匀恢铝τ趯崿F(xiàn)讓每個人都可以輕松訪問數(shù)據(jù)和分析的愿景，以及我們成為混合數(shù)據(jù)領導者的使命。我們相信，數(shù)據(jù)可以讓今天的不可能，在明天成為可能�！贝饲癈loudera的一篇官方文章中曾這樣表述。
對于眾多企業(yè)來說，數(shù)據(jù)正在源源不斷的出現(xiàn)，如何利用數(shù)據(jù)挖掘其中價值，在未來或許比獲取更多數(shù)據(jù)更加重要。Cloudera的數(shù)據(jù)平臺將為企業(yè)帶來通過數(shù)據(jù)戰(zhàn)略在競爭中實現(xiàn)“彎道超車”的機會，混合數(shù)據(jù)方法即將成為企業(yè)未來的“必需品”。
