久久91精品国产一区,黄色AV激情五月天在线

數(shù)據(jù)處理是數(shù)據(jù)產(chǎn)品經(jīng)理最重要的部分，與最終報告顯示、分析報告、數(shù)據(jù)驅(qū)動相比，往往需要較長的時間，價值較低。

我們經(jīng)常會聽到，同一個功能數(shù)據(jù)分析結(jié)果截然相反，追溯原因發(fā)現(xiàn)在數(shù)據(jù)處理過程中，存在錯誤等。

本篇文章將以數(shù)據(jù)產(chǎn)品的角度來看數(shù)據(jù)采集后數(shù)據(jù)流的處理過程；并講解一丟丟偏技術(shù)、但與數(shù)據(jù)產(chǎn)品產(chǎn)出息息相關(guān)的數(shù)據(jù)倉庫。

一. 數(shù)據(jù)處理過程

數(shù)據(jù)產(chǎn)品經(jīng)理的工作中一大部分都是將不可估測的數(shù)據(jù)轉(zhuǎn)化為可見的報表、有結(jié)論意義的分析報告——也就是將數(shù)據(jù)從各種異構(gòu)的數(shù)據(jù)源中、匯總，最終展示為報表、儀表盤、動態(tài)數(shù)據(jù)分析查詢、結(jié)論性的分析報告等等。

1. 有哪些異構(gòu)數(shù)據(jù)源呢？

服務端、客戶端用戶行為日志
用戶的歷史信息，定性信息.性別，職業(yè)的用戶畫像數(shù)據(jù))，定量信息.近30天的某個興趣傾向程度)
第三方等獲取的信息，e.g.爬蟲數(shù)據(jù)、人工整理的數(shù)據(jù)等等

2. 這信息大都需要二次加工、清洗，生成結(jié)構(gòu)化的數(shù)據(jù)

臟數(shù)據(jù)的清洗、整合，e.g.延遲數(shù)據(jù)的按照發(fā)生日歸納；
生成基礎(chǔ)性的表，以提高數(shù)據(jù)的易用性，e.g.用戶基礎(chǔ)數(shù)據(jù)、行為數(shù)據(jù)的基礎(chǔ)表；
生成可以直接應用于報表、分析的用戶&行為結(jié)構(gòu)化業(yè)務應用表；

輕描淡寫的2個步驟，卻是影響報表展示、分析結(jié)論的關(guān)鍵點，也是數(shù)據(jù)產(chǎn)品經(jīng)理最需要細心處理的地方。

二. 數(shù)據(jù)倉庫(Data Warehouse)

數(shù)據(jù)處理過程往往比較模糊，但“異構(gòu)數(shù)據(jù)源->結(jié)構(gòu)化的數(shù)據(jù)表->報表/分析報告”的過程中，我們常見的各種數(shù)據(jù)庫表就是數(shù)據(jù)倉庫的實體，如常見的hive，spark，Oracle等。那在數(shù)據(jù)產(chǎn)品經(jīng)理日常數(shù)據(jù)處理中應該注意哪些數(shù)據(jù)倉庫知識點呢？

1. 數(shù)據(jù)倉庫分層

為什么要做分層呢？

更清晰的管理、追蹤數(shù)據(jù)(清洗的數(shù)據(jù)結(jié)構(gòu)、明確的血緣關(guān)系)：有助于我們?nèi)ゲ檎覕?shù)據(jù)處理的整條鏈路；
通過建立通用的中間表，減少重復計算：一張通用的中間表，能夠有效提供能夠直接貢獻于下游業(yè)務數(shù)據(jù)表，以避免每次都從原數(shù)據(jù)中產(chǎn)出業(yè)務數(shù)據(jù)表；
清晰的數(shù)據(jù)倉庫分層，將能夠有助于我們分解數(shù)據(jù)處理過程：將復雜的數(shù)據(jù)->業(yè)務應用，拆解成多個步驟，每一層只處理單一的步驟；

數(shù)據(jù)分層具體是指？每一層應該注意什么呢？

操作數(shù)據(jù)層(ODS，Operational Data Store)：該層級的數(shù)據(jù)，最接近數(shù)據(jù)源的原始面貌(內(nèi)容和粒度與原始數(shù)據(jù)一致)，通常是數(shù)據(jù)源直接經(jīng)過ETL后，存儲于此。從原始數(shù)據(jù)到ODS層，不建議做復雜的數(shù)據(jù)清洗，以免破壞原始數(shù)據(jù)，引起不必要的排查成本。

建議僅進行——

將json記錄的日志，映射到各字段中;
作弊數(shù)據(jù)的清洗；
數(shù)據(jù)轉(zhuǎn)碼：將編碼映射成具有真實含義的值
數(shù)據(jù)標準化，e.g.把所有的日期都格式化成YYYY-MM-DD的格式；
異常值修復，e.g.視頻播放表：（包含用戶id、視頻id、播主、播放時間等）。

如果一個表劃分為ODS層，那么一定要確認是否將原數(shù)據(jù)的有意義字段均清洗過來。

明細數(shù)據(jù)層(DWD，Data Warehouse Detail)：對ODS層做一些業(yè)務層面的數(shù)據(jù)清洗和規(guī)范化的操作，e.g.用戶播放視頻的日志級表;

如果一個表劃分為DWD層，是否清晰、明確的記錄了業(yè)務層面的明細數(shù)據(jù)？

匯總數(shù)據(jù)層(DWS, Data Warehouse Summary)：依據(jù)業(yè)務需求對ODS/DWD層的數(shù)據(jù)進行了匯總，e.g.帶有用戶畫像信息的播放視頻；

如果是DWS層的表，是否能夠有效、便利的服務于業(yè)務方向統(tǒng)計需求？

應用數(shù)據(jù)層(ADS，Application Data Store)：業(yè)務需要進行的統(tǒng)計數(shù)據(jù)結(jié)果，e.g.各類型用戶的視頻播放統(tǒng)計。

如果是ADS層的表，是否能夠得到業(yè)務需要的統(tǒng)計數(shù)據(jù)？

維度表(DIM)：存放基礎(chǔ)信息，如用戶屬性表-性別、年齡等等。

如果是DIM層的表，是否全面記錄了后續(xù)分析或統(tǒng)計需要用的各個維度？

除了固定為分層外，當然還有臨時表(TEM)。

阿里/華為的數(shù)據(jù)倉庫數(shù)據(jù)分級：操作數(shù)據(jù)層（ODS）、明細數(shù)據(jù)層(DWD)、匯總數(shù)據(jù)層(DWS)和應用數(shù)據(jù)層(ADS)，維度表(DIM)；操作數(shù)據(jù)層、明細數(shù)據(jù)層、匯總數(shù)據(jù)層都是公共數(shù)據(jù)層。

此外，涉及表時，需要充分考慮這張表后續(xù)是哪個角色的同學使用，表是否足夠易用？是否內(nèi)容冗余？是否安全？

業(yè)務線的同學是否能夠通過幾條簡單的SQL語句，拿到數(shù)據(jù)結(jié)果？
可以通過單張表格統(tǒng)計到數(shù)據(jù)還是需要多表關(guān)聯(lián)獲??？
單張表是不是內(nèi)容冗余，是否會影響查詢效率？
多表關(guān)聯(lián)時，是否會有業(yè)務理解上的坑，e.g.多表間的字段是一對一，一對多，還是多對多，如何讓使用者清晰的理解？
表中是否涉及敏感的字段，比如金額等，使用群體是否有足夠的權(quán)限獲取這些信息？

2. 元數(shù)據(jù)管理

元數(shù)據(jù)及應用也是數(shù)據(jù)倉庫的重要組成部分，它是描述數(shù)據(jù)的數(shù)據(jù)（data about data)，描述數(shù)據(jù)的屬性信息，可以幫助我們非常方便地找到他們所關(guān)心的數(shù)據(jù)。

元數(shù)據(jù)記錄了哪些信息？

數(shù)據(jù)的表結(jié)構(gòu)：字段信息、分區(qū)信息、索引信息等；
數(shù)據(jù)的使用&權(quán)限：空間存儲、讀寫記錄、修改記錄、權(quán)限歸屬、審核記錄等其他信息；
數(shù)據(jù)的血緣關(guān)系信息：血緣信息簡單的說就是數(shù)據(jù)的上下游關(guān)系，數(shù)據(jù)從哪里來到哪里去？我們通過血緣關(guān)系，可以了解到建立起生產(chǎn)這些數(shù)據(jù)的任務之間的依賴關(guān)系，進而輔助調(diào)度系統(tǒng)的工作調(diào)度，或者用來判斷一個失敗或錯誤的任務可能對哪些下游數(shù)據(jù)造成影響等等；而在數(shù)據(jù)排查過程中也可以幫助我們定位問題。
數(shù)據(jù)的業(yè)務屬性信息：記錄這張表的業(yè)務用途，各個字段的具體統(tǒng)計口徑、業(yè)務描述、歷史變遷記錄、變遷原因等。
這部分數(shù)據(jù)多是我們手動填寫，但卻能大大提升數(shù)據(jù)使用過程中的便利性。