整合營(yíng)銷(xiāo)服務(wù)商
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
. rdp報(bào)表
JavaWeb實(shí)現(xiàn)的報(bào)表工具，是唯一一款通過(guò)web頁(yè)面設(shè)計(jì)報(bào)表的工具，僅需簡(jiǎn)單拖拽式配置，即可制作出各種復(fù)雜、炫酷的報(bào)表，商用免費(fèi)的一款報(bào)表工具。
Web類(lèi)Excel報(bào)表設(shè)計(jì)器，方便的B/S報(bào)表設(shè)計(jì)模式，具有強(qiáng)大的表達(dá)式和擴(kuò)展功能，可以輕松快捷、零編碼地實(shí)現(xiàn)各種復(fù)雜報(bào)表、
輯導(dǎo)語(yǔ)：什么是數(shù)據(jù)湖？企業(yè)可以利用數(shù)據(jù)湖盡可能保持業(yè)務(wù)數(shù)據(jù)的可還原性，解決存儲(chǔ)全域原始數(shù)據(jù)的問(wèn)題；而數(shù)據(jù)中臺(tái)的存在則可以幫助幫助企業(yè)提升業(yè)務(wù)處理效率。不過(guò)并非所有的企業(yè)都需要設(shè)立數(shù)據(jù)中臺(tái)。本篇文章里，作者對(duì)數(shù)據(jù)湖與數(shù)據(jù)中臺(tái)進(jìn)行了詳細(xì)的解釋?zhuān)黄饋?lái)看一下。
引言：文接上回，沒(méi)有閱讀第一部分的小伙伴請(qǐng)點(diǎn)擊《10分鐘帶你了解數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)的區(qū)別與聯(lián)系（一）》查看，那我們就開(kāi)始第二部分的內(nèi)容吧，如有不準(zhǔn)確的地方，還請(qǐng)希望大家進(jìn)行指正。
上文通過(guò)有序性與開(kāi)放性分別對(duì)數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖進(jìn)行描述并對(duì)比，現(xiàn)在我們來(lái)詳細(xì)地了解一下數(shù)據(jù)湖。
數(shù)據(jù)湖主要是為了解決存儲(chǔ)全域原始數(shù)據(jù)，其名稱(chēng)中的“湖”字將數(shù)據(jù)湖的含義表現(xiàn)得淋漓盡致。像企業(yè)的生產(chǎn)數(shù)據(jù)（非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)）、業(yè)務(wù)歷史數(shù)據(jù)、臨時(shí)數(shù)據(jù)，諸如IOT設(shè)備，移動(dòng)應(yīng)用程序以及傳統(tǒng)的設(shè)備中返回的第三方數(shù)據(jù)都可以通過(guò)ETL工具形成的“水管”存儲(chǔ)進(jìn)數(shù)據(jù)湖中。
例如筆者之前在工作過(guò)程中接觸的手機(jī)信令數(shù)據(jù)、GPS返回的定位數(shù)據(jù)等，這些數(shù)據(jù)實(shí)際上并沒(méi)有預(yù)先定義好相應(yīng)的數(shù)據(jù)結(jié)構(gòu)，這就意味著可以先將數(shù)據(jù)存儲(chǔ)起來(lái)而無(wú)需對(duì)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理，也無(wú)需明確要進(jìn)行什么分析，由數(shù)據(jù)從業(yè)人員在后續(xù)工作中進(jìn)行探索和嘗試。
上文中提到的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，那什么是結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)呢？下面我們就解釋下兩者的區(qū)別與聯(lián)系。
舉個(gè)例子。
我們收集到了這樣一堆文字信息：
諸如此類(lèi)的文字信息有幾萬(wàn)行，我們存在word中，亦或是紙質(zhì)版文件經(jīng)由我們掃描成圖片格式的，這類(lèi)就可以稱(chēng)為非結(jié)構(gòu)化數(shù)據(jù)。假設(shè)有需求將這些文字信息中按照性別、籍貫、專(zhuān)業(yè)等等統(tǒng)計(jì)出來(lái)，我們?cè)诘谝黄恼轮刑岬搅岁P(guān)系型數(shù)據(jù)庫(kù)，用相關(guān)的技術(shù)和工具將這些文字信息進(jìn)行處理，處理后的數(shù)據(jù)就是結(jié)構(gòu)化數(shù)據(jù)。
所以結(jié)構(gòu)化數(shù)據(jù)的定義：是由二維表結(jié)構(gòu)來(lái)邏輯表達(dá)和實(shí)現(xiàn)的數(shù)據(jù)，嚴(yán)格地遵循數(shù)據(jù)格式與長(zhǎng)度規(guī)范，主要通過(guò)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)和管理。
非結(jié)構(gòu)化數(shù)據(jù)：不適于由數(shù)據(jù)庫(kù)二維表來(lái)表現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù)，包括所有格式的辦公文檔、 XML 、 HTML 、各類(lèi)報(bào)表、圖片和音頻、視頻信息等。
回歸正題，企業(yè)為什么要建立數(shù)據(jù)湖呢，首先數(shù)據(jù)湖中存在一個(gè)重要的組成部分ODS（Operating Data Store，操作數(shù)據(jù)存儲(chǔ)），大家是否記得上一篇文章講過(guò)OLTP（On-Line Transaction Processing），OLTP側(cè)重于基本的、日常的事務(wù)處理，而我們現(xiàn)在提到的ODS就是OLTP數(shù)據(jù)的快照與歷史。
我們?cè)谏衔牡臄?shù)據(jù)庫(kù)一節(jié)描述時(shí)提到業(yè)務(wù)數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)不同，業(yè)務(wù)數(shù)據(jù)庫(kù)是為OLTP設(shè)計(jì)的，是系統(tǒng)的實(shí)時(shí)狀態(tài)的數(shù)據(jù)，而數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是為OLAP的需求建設(shè)的，是為了深度的多維度分析。所以這樣就會(huì)造成基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)分析會(huì)產(chǎn)生以下的限制：
而從根本上來(lái)講，數(shù)據(jù)湖的最主要作用是盡可能保持業(yè)務(wù)數(shù)據(jù)的可還原性。數(shù)據(jù)湖的定位和搜索引擎類(lèi)似，我們可以像在搜索引擎中檢索數(shù)據(jù)一樣，實(shí)現(xiàn)按需檢索，即取即用，它存取這原始的未經(jīng)改變的全量數(shù)據(jù)，可以存取、處理、分析。
數(shù)據(jù)湖最早是2011年由Pentaho的首席技術(shù)官James Dixon提出的一個(gè)概念，他認(rèn)為諸如數(shù)據(jù)集市，數(shù)據(jù)倉(cāng)庫(kù)由于其有序性的特點(diǎn)，勢(shì)必會(huì)帶來(lái)數(shù)據(jù)孤島效應(yīng)，而數(shù)據(jù)湖可以由于其開(kāi)放性的特點(diǎn)可以解決數(shù)據(jù)孤島問(wèn)題。
但隨著數(shù)據(jù)湖在各類(lèi)企業(yè)的應(yīng)用，大家都覺(jué)得：嗯，這個(gè)數(shù)據(jù)有用，我要放進(jìn)去；那個(gè)數(shù)據(jù)也有用，我也要放進(jìn)去；于是把所有的數(shù)據(jù)不假思索地扔進(jìn)基于數(shù)據(jù)湖的相關(guān)技術(shù)或工具中，沒(méi)有規(guī)則不成方圓，當(dāng)我們認(rèn)為所有數(shù)據(jù)都有用時(shí)，那么所有的數(shù)據(jù)都是垃圾，數(shù)據(jù)湖也變成了造成企業(yè)成本高企的數(shù)據(jù)沼澤。
所以這也是為什么“數(shù)據(jù)湖”叫“湖”，而不叫數(shù)據(jù)河，數(shù)據(jù)池亦或是數(shù)據(jù)海。
首先數(shù)據(jù)要能“存”，數(shù)據(jù)要夠“存”，數(shù)據(jù)要有邊界地“存”。企業(yè)級(jí)的數(shù)據(jù)是需要長(zhǎng)期積淀的，所以是“數(shù)據(jù)湖”。
同時(shí)湖水天然會(huì)進(jìn)行分層，滿足不同的生態(tài)系統(tǒng)要求，這與企業(yè)建設(shè)統(tǒng)一數(shù)據(jù)中心，存放管理數(shù)據(jù)的需求是一致的。熱數(shù)據(jù)在上層方便流通應(yīng)用，溫?cái)?shù)據(jù)、冷數(shù)據(jù)位于數(shù)據(jù)中心的不同存儲(chǔ)介質(zhì)之中，達(dá)到數(shù)據(jù)存儲(chǔ)容量與成本的平衡。
我們終于迎來(lái)了最近幾年很火的數(shù)據(jù)中臺(tái)。網(wǎng)上有很多文章關(guān)于數(shù)據(jù)中臺(tái)的介紹，什么Hive、Spark、Hadoop、Kalfa等等很多技術(shù)名詞，聽(tīng)上去非常的高大上而且云里霧里的，會(huì)使初涉產(chǎn)品的我們望而卻步。
所以接下來(lái)我們從何為中臺(tái)、何為數(shù)據(jù)中臺(tái)、數(shù)據(jù)中臺(tái)可以做什么三個(gè)方面來(lái)講講數(shù)據(jù)中臺(tái)。
首先拋開(kāi)數(shù)據(jù)，中臺(tái)這一概念這兩年在國(guó)內(nèi)大火。說(shuō)起來(lái)源，網(wǎng)上文章都會(huì)提到這種組織是2015年馬云參觀Supercell的游戲公司借鑒過(guò)來(lái)的，并且后來(lái)“阿里巴巴”CEO逍遙子提出的組建的“大中臺(tái)，小前臺(tái)”的組織和業(yè)務(wù)體制。那么我們能用一個(gè)比較淺顯的例子來(lái)理解“中臺(tái)”一詞么?
當(dāng)然可以，有一家連鎖且超級(jí)便宜的意大利西餐連鎖店“薩莉亞”，相信大部分同學(xué)都光顧過(guò)，9元的意面，24的披薩，上菜速度超快，雖然比不上傳統(tǒng)西餐，但相比于這個(gè)價(jià)位，屬實(shí)很良心了，而且目前薩莉亞在中國(guó)已經(jīng)開(kāi)設(shè)了將近400家（截止2019年）分店。
那么薩莉亞保持價(jià)格低廉同時(shí)上菜效率高效的原因是什么？答案很簡(jiǎn)單，就是中央廚房進(jìn)行粗加工，然后門(mén)店的廚師僅需要簡(jiǎn)單地烹飪即可端上餐桌。相比于傳統(tǒng)餐廳采購(gòu)（買(mǎi)菜）→配菜→做菜的環(huán)節(jié)，既減少門(mén)店廚師的數(shù)量，降低人工成本的同時(shí)又加快上菜速度。
回到我們研發(fā)流程來(lái)看，采購(gòu)（買(mǎi)菜）→配菜環(huán)節(jié)就是我們研發(fā)的后臺(tái)，他們幫助我們解決“有什么”；而配菜→做菜環(huán)節(jié)就是我們的業(yè)務(wù)前臺(tái)團(tuán)隊(duì)，他們要做的就是根據(jù)客戶的“口味”來(lái)“做什么”。
而配菜，蔬菜整理這個(gè)環(huán)節(jié)，也就是薩莉亞的“中央廚房”就相當(dāng)于我們的中臺(tái)，僅僅需要門(mén)店的需求，中央廚房就可以快速提供對(duì)應(yīng)的材料，提高業(yè)務(wù)開(kāi)發(fā)效率，減少重復(fù)開(kāi)發(fā)成本。
介紹完了“中臺(tái)”這一概念，數(shù)據(jù)中臺(tái)相信大家也能舉一反三。沒(méi)錯(cuò)，對(duì)于采購(gòu)來(lái)的“菜”就相當(dāng)于數(shù)據(jù)，做出來(lái)的“菜”就相當(dāng)于業(yè)務(wù)部門(mén)所以需要的數(shù)據(jù)應(yīng)用。
那么配菜環(huán)節(jié)就相當(dāng)于IT部門(mén)的各種數(shù)據(jù)算法，每道菜單獨(dú)配菜效率慢且冗余度較高，于是“中央廚房”就對(duì)數(shù)據(jù)算法進(jìn)行規(guī)范化，系統(tǒng)化。針對(duì)于業(yè)務(wù)部門(mén)所需要的各道菜提供粗加工的半成品，這就是“數(shù)據(jù)產(chǎn)品”。
這種“中央廚房”配菜的過(guò)程就相當(dāng)于我們所說(shuō)的“數(shù)據(jù)中臺(tái)”。那么是不是每個(gè)企業(yè)都必須搭建數(shù)據(jù)中臺(tái)么？數(shù)據(jù)中臺(tái)在業(yè)務(wù)上能解決什么問(wèn)題呢？
所有企業(yè)是否都需要搭建數(shù)據(jù)中臺(tái)？首先我們知道企業(yè)引進(jìn)一項(xiàng)技術(shù)或產(chǎn)品，不在于是否“時(shí)髦”，不在于是否“高科技”，而在于是否適合該公司目前的發(fā)展，是否能提高公司的利潤(rùn)，降低公司的成本。
首先數(shù)據(jù)中臺(tái)的作用通過(guò)對(duì)中臺(tái)及數(shù)據(jù)中臺(tái)的描述，總結(jié)以下2點(diǎn)：
根據(jù)以上提到數(shù)據(jù)中臺(tái)的兩個(gè)優(yōu)勢(shì)，針對(duì)一個(gè)企業(yè)是否搭建數(shù)據(jù)中臺(tái)，亦或是說(shuō)一個(gè)企業(yè)在一開(kāi)始從零到一就要構(gòu)建數(shù)據(jù)中臺(tái)？筆者在此有幾點(diǎn)自己的總結(jié)：
首先針對(duì)于不同的行業(yè)，盡管傳統(tǒng)企業(yè)數(shù)字化改革正在路上且已經(jīng)有很多行業(yè)已經(jīng)改革成功，但是針對(duì)于大部分傳統(tǒng)企業(yè)，別說(shuō)數(shù)據(jù)中臺(tái)，公司連數(shù)據(jù)倉(cāng)庫(kù)的時(shí)代都沒(méi)有到來(lái)，“羅馬不是一天建成的”拋去建設(shè)數(shù)據(jù)中臺(tái)的財(cái)力，時(shí)間成本高昂不提，就是對(duì)于傳統(tǒng)企業(yè)的業(yè)務(wù)流轉(zhuǎn)模式，企業(yè)員工接受程度來(lái)說(shuō)都是一條難以逾越的鴻溝，數(shù)據(jù)中臺(tái)不可操之過(guò)急。
對(duì)于一些處于數(shù)據(jù)倉(cāng)庫(kù)時(shí)代的傳統(tǒng)企業(yè)或互聯(lián)網(wǎng)企業(yè)，由于各個(gè)部門(mén)不停無(wú)限地進(jìn)行滿足其業(yè)務(wù)支撐點(diǎn)取數(shù)要求、業(yè)務(wù)統(tǒng)計(jì)、看數(shù)需求，就可以嘗試轉(zhuǎn)型數(shù)據(jù)中臺(tái)。
對(duì)初創(chuàng)企業(yè)，業(yè)務(wù)線單一且業(yè)務(wù)模式還經(jīng)常不斷變化，不斷試錯(cuò)時(shí)，沒(méi)有能力去進(jìn)行數(shù)據(jù)中臺(tái)的搭建，換言之就是“先活下去最重要”。
本篇文章分兩部分介紹了數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)的區(qū)別與聯(lián)系。
關(guān)于數(shù)據(jù)有人說(shuō)數(shù)據(jù)是新的石油資源，國(guó)家也將數(shù)據(jù)作為一種新型生產(chǎn)要素，與傳統(tǒng)生產(chǎn)要素并列。
筆者曾經(jīng)在泛互聯(lián)網(wǎng)以及傳統(tǒng)企業(yè)的業(yè)務(wù)部門(mén)都工作一段時(shí)間，由于各類(lèi)原因，相比于泛互聯(lián)網(wǎng)行業(yè)的數(shù)據(jù)化相比，傳統(tǒng)企業(yè)的數(shù)據(jù)化之路并不一帆風(fēng)順。2020年8月，國(guó)務(wù)院國(guó)資委引發(fā)《關(guān)于加快推進(jìn)國(guó)有企業(yè)數(shù)字化轉(zhuǎn)型工作的通知》表現(xiàn)出各國(guó)有企業(yè)未來(lái)數(shù)字化轉(zhuǎn)型將成為必然，如何協(xié)助傳統(tǒng)企業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型，利用數(shù)據(jù)驅(qū)動(dòng)傳統(tǒng)行業(yè)迸發(fā)新的活力對(duì)于數(shù)據(jù)產(chǎn)品經(jīng)理，尤其是對(duì)ToB的數(shù)據(jù)產(chǎn)品經(jīng)理將會(huì)是挑戰(zhàn)與機(jī)遇。
筆者會(huì)繼續(xù)努力與大家分享交流其他數(shù)據(jù)產(chǎn)品相關(guān)的文章與內(nèi)容。
本文由 @快樂(lè)的給予 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載
題圖來(lái)自 Pexels，基于 CC0 協(xié)議
編最近發(fā)現(xiàn)幾款不錯(cuò)的開(kāi)源報(bào)表，還提供源碼，現(xiàn)在給大家分享一下，希望能給你帶來(lái)幫助！
*請(qǐng)認(rèn)真填寫(xiě)需求信息，我們會(huì)在24小時(shí)內(nèi)與您取得聯(lián)系。
