近日，賽迪顧問正式發(fā)布了國內首份《湖倉一體技術研究報告》。對此，巨杉數據庫特邀賽迪顧問軟件與信息服務業(yè)研究專家，對《湖倉一體技術研究報告》進行了深入解讀。

伴隨數字化在各行各業(yè)的深化發(fā)展，企業(yè)不但需要面向業(yè)務的「交易核心」，同時更需要構建面向企業(yè)全量數據價值的「數據核心」。不同于傳統「交易核心」往往僅針對特定業(yè)務系統解決其交易需求不同的是，「數據核心」需要匯聚從多個「交易核心」產生的實時交易流水數據，為全企業(yè)跨業(yè)務的多個系統提供高并發(fā)的實時對客全量數據查詢及數據探索分析能力。湖倉一體技術借助海量、實時、多模的數據處理能力，實現全量數據價值的持續(xù)釋放，正成為企業(yè)數字化轉型過程中的備受關注焦點。

本次解讀分享，結合湖倉一體技術的發(fā)展歷程，對現階段業(yè)界重點產品，典型案例，未來趨勢等多方面內容進行了剖析，綜合評判了湖倉一體技術的發(fā)展階段及未來應用場景。

· 湖倉一體技術的發(fā)展現狀

現階段，數據湖與數據倉庫的融合發(fā)展主要有三個技術路徑，根據不同路徑的技術特性，可以滿足不同場景下的客戶需求。

第一個是基于Hadoop體系的數據湖向數據倉庫能力擴展，在數據湖中建數據倉庫，通過引入數據倉庫的分析功能，從數據湖直接進化到湖倉一體。

第二個是基于自身云平臺進行架構構建，主要是公有云廠商基于自身云平臺或相關產品，通過自研技術打通數據湖與數據倉庫，實現湖倉一體功能。

第三個是以獨立數據庫廠商為代表的梯隊，其以數據庫技術為基礎，自研分布式平臺，從調度、計算到存儲不依賴第三方平臺，形成可以靈活在公有云、私有云、裸金屬等場景獨立部署的湖倉一體平臺。這類的代表廠商如海外的Snowflake，Databricks及國內的巨杉數據庫等。

報告選取了業(yè)界比較主流的6個湖倉一體產品進行對比分析，包括海外廠商Snowflake、Databricks及亞馬遜AWS智能湖倉，國內廠商巨杉數據庫SequoiaDB、阿里云MaxCompute湖倉一體方案、華為云FusionInsight。

從設計初衷來看，各家產品雖然技術路線不同，或自研，或基于開源，或基于自身云平臺的產品組合，但最終目的均一致是為了降低數據在不同平臺間的流動，這樣做的好處一方面是技術上可以降低客戶的管理成本，另一方面在商業(yè)上也提升了客戶粘性和操作體驗。比如像亞馬遜AWS、阿里云、華為云，會通過各類云上的工具打通不同產品或組件間的數據流通，而Snowflake、Databricks、巨杉數據庫則會盡可能讓同一平臺上的數據具備更豐富的應用場景。

從特性上來看，各個廠商均強調了ACID事物一致性，因為在湖倉一體中，數據不再如同傳統數據倉庫中的離線分析數據，客戶的業(yè)務數據將更實時的以數據流的方式寫入。雖然湖倉一體不需要如同事務型數據庫一樣，擁有低延遲的在線交易能力，但是在數字化轉型需求下，系統同樣需要提供實時的數據查詢分析能力，及保證在某一時間點上數據的準確性。

整體分析后不難看出，Snowflake從數據倉庫逐步提供多元化的數據處理，其最新版本也進一步強化了數據實時服務能力。Databricks的優(yōu)勢在于對非結構化數據處理的AI機器學習及科學計算上，并持續(xù)擴展其數據倉庫的分析能力。巨杉數據庫以統一平臺下跨結構化、半結構化、非結構化的多模數據處理能力為基礎，重點提供高并發(fā)的實時對客查詢，并持續(xù)擴展實時湖倉的分析能力。亞馬遜AWS、阿里云、華為云則更注重于其基于自身云生態(tài)的技術能力整合，簡化了云平臺客戶在數據處理上的復雜度。

在報告中，也對湖倉一體的典型應用案例進行了分析，具體內容可下載報告后進行閱讀。

· 湖倉一體技術的未來趨勢

分析來看，“湖倉一體”架構在數據管理中呈現出六大技術特性。

一是支持分析多種數據類型，包括結構化、半結構化和非結構化數據。

二是數據可治理，在保證數據完整性的同時，具有健全的治理和審計機制，能夠避免數據沼澤現象。

三是事務支持，企業(yè)數據往往要為業(yè)務系統提供并發(fā)的讀取和寫入，對事物ACID的支持，可確保數據并發(fā)訪問的一致性、正確性。

四是BI支持，能夠支持直接在源數據上使用BI工具，加快分析效率，降低數據延遲。

五是存算分離，使系統能夠擴展到更大規(guī)模的并發(fā)能力和數據容量。

六是開放型，采用開放、標準化的存儲格式，并提供豐富的API支持。

與此同時，隨著湖倉一體技術的不斷成熟，未來將在四大應用場景中發(fā)揮作用。

場景一：服務于數據中臺的實時數倉。由于數據中臺要求其數據庫在分析處理過程中，需強調事物一致性，并保持低延遲與提升實時處理能力，這些都是湖倉一體的典型技術特性。

場景二：支撐微服務的數據融合底座?？捎行Ы鉀Q擴展困難以及維護困難的問題。

場景三：全量數據實時訪問平臺。在數字化轉型過程中，對客實時查詢，歷史數據服務平臺，或IoT物聯網系統中，會產生實時處理海量數據的需求，湖倉一體的彈性擴展能力能夠很好滿足這一需求。

場景四：進行非結構化數據處理，數字化轉型中通過AI機器學習及比對分析，非結構化數據將包含更多元化的業(yè)務屬性，為各類業(yè)務系統提供信息輸入。湖倉一體能夠有效提升非結構化數據的處理能力。

更多內容，歡迎搜索《湖倉一體技術研究報告》，下載完整版報告。

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！