1、看數據看維度 在對某一項業務或者業務的某個模塊進行分析時，可以從大小兩個角度去切入分析。 首先站在廣闊的視角去看待一些數據。比如對某個產品（消費品），就要分析在大環境下是一個什麼樣的數據，如市場排名，市場佔有率。還要記錄市場整體波動情況，競品的數據。這些一般可以通過第三方調研機構或者行業報告獲得。 FineReport數據報表看板 然後需要分析針對這個產品你內部關心的數據是什麼。比如每月每周的銷售量，各渠道的銷售量，廣告、促銷活動、線下活動、聯合活動等帶來的銷售的提升和品牌知名度的提升。 當了解完以上的數據，就應該對這個產品方方面面的情況有個宏觀的了解，對需要提升哪些數據指標有一個清晰的認識。之後就是細化到某個模塊維度進一步分析，比如電商渠道需要關注的多一些，DAU、WAU、客單價、復購、用戶流失等等，每個模塊都可建立漏斗信息。實際分析時還要關注數據異常，做針對性分析。 2、什麼是好的數據指標？ 並不是所有的數據欄位都可以當做指標。在選擇監測的數據指標前可以先問自己幾個問題： 一對於這個產品你核心關注的是什麼？比如銷售增長率、市場佔有率？ 二這些指標能夠反映這個產品的走向趨勢么？如果這些指標變好了能否說明公司是在往好的方向上發展？ 三這個指標是否可控，能否操作？如果有些指標你目前的技術根本無法統計到，那也是無濟於事。 四指標系設立是否嚴謹不存在漏洞。描述一個產品的一定是有系列指標，這些會標是否能完全的說明情況，在驗證你的假設結論時，是否能完全支撐。 再來說說指標的數據和分析。 有時候數據本身也存在欺騙性，比如這個月的銷售額是600W，另外兩家最大競品分別是300W和250W，似乎加起來也沒有我們大。但是事實上，我們上個月的銷售是800W，競品分別是200W和180W。數據看上去很漂亮，但是按對比和比率來講我們遠下降了。 所以，好的數據最好一定是以比率的形式存在，要有對比性質的相對數據。 單純一個或幾個數據情況是沒有意義的，點連成線，線構成面去展示，用圖表製作展示一段時間的整體趨勢，才能客觀評價產品的健康程度。通常我們用BI系統或者報表製作搭建數據看板（dashboard）監測重要的數據指標。 FineReport數據報表看板 FineBI-大數據分析軟體與BI工具 數據分析要有目的性，不要被數據迷惑。上面的數據就是只關注了銷售額情況，但忽略了整體分析而導致的表面欺騙。 3、發現數據異常，該從哪幾個維度去分析？ 有時候總量的角度是無法看出問題的，比如銷售額、UV下降了，我們需要進一步細化去分析。看銷售額總量的時候明顯是下降了，先確定大的市場有沒有波動，競爭對手有沒有動作，需要查看市場總額以及競爭對手每個品類的數據。然後分析自身，每個渠道的銷售額情況監測，每個區域的銷售額情況，每個時間段的銷售情況，把活動時間比如五一的數據扣除擬合，將有問題的標記出來。如果是渠道問題優化渠道，如果是市場波動，需要全局考慮戰略和市場對策。 所以如果是銷售額的分析，需要從渠道、活動時間點、地域等情況去深入分析。比如，是不是因為十一的活動導致銷量有個明顯的上升趨勢？是不是因為上周搞了促銷活動，導致本周一線業務員有個消極緩衝的時段，整體銷售額低迷。 另外，數據一場也不是什麼壞事，如果在數據分析過程中發現某數據表現極好，比如某渠道的銷售增長率很高，是不是可以思考為什麼會這樣，有什麼好的經驗借鑒，甚至是不是要考慮調整渠道的投放比率。 4、不同階段的關鍵性指標應該是隨著業務的變化而變化的 在做數據分析前，我們會確定分析的目標，每個階段不同。以電商渠道為例，有時候是分析各類活動效果以進一步優化方案或者挑選最合適的方案，留下分析模型以便後續活動對比預測；有時候是研究廣告投放，在預算內讓營收最大化；有時候是增強用戶粘性，提高用戶活躍度。 所以不同階段無論是關鍵性指標還是KPI都要做相應調整。比如產品投放初期，關注用戶數、訂單數，後續考慮用戶活躍度，回購率，客單價等等。

為什麼有的報表好用，有的報表不好用，有的企業會做一堆亂七八糟的報表，最近經常會思考這些問題。 有人說數據分析，為了開源節流，這個沒有錯，今天我從另外一個角度解讀。數據分析，是為了應對風險(說明：風險與機會是一起的。PMI中將其共同列為風險管理，本文所有風險與機會同義)，開源節流的每一次操作每一個節點，也是風險。 企業經營，風裡來雨里去，免不了碰到大大小小的機會和風險，抓住機會躲避風險是每個企業以及個人的畢生追求。 PMI中將風險歸為以下幾類： 已知的已知風險 未知的已知風險 未知的未知風險。 本文將數據分析，也歸納為三層需求 第一層需求：應對已知的已知風險 可以將這一層需求看作為被動使用的數據，拿零售行業的場景舉例： 採購員要進行採購，沒有數據作為參考，只能進行盲目採購，那商店的缺斷貨、商品積壓的風險一定出現。所以採購員需要通過數據查看各類商品的銷售情況、庫存情況、可售天數情況進行判斷，以此決定採購需求，避免錯誤的商品採購所導致的商品缺斷貨、高庫存等風險。此為通過數據來應對已知的已知風險。 對於企業之中，這類的應用特別多，多到部分企業會忽略這是一種數據分析的應用。企業中常用的業務系統比如erp等軟體系統，也會自帶一些簡單的數據查看類報表，其作用也是很大程度上來應對這一類風險。 但是，從另一個角度去看，這類風險的應對也有很大的優化空間： 風險應對的效率：提升風險應對的效率，是提升應用標準化的一個體現，當一個應用難以使用時，容易造成人員惰性，取巧而放棄使用，從而提高了風險發生的概率。 複雜的已知的已知風險的應對：絕大部分企業並沒有將數據覆蓋所有的已知風險，舉例：新品的引進，新品的引進為商店帶來新的盈利點，但是錯誤的引進甚至會帶來負面效應。大部分企業的新品引進並沒有一個很好的方案來應對：通過數據進行品類關聯並對比，可以看出本店鋪對於市場上銷量靠前的商品的缺貨情況，本店已有商品的市場佔有情況，從而可以優化新品引進的策略。這一類的應用還有很大的空間，這也就是為什麼很多企業樂於同行之間的交流，希望彼此可以互通有無，發現類似數據場景的應用。 第二層需求：應對未知的已知風險 這一類數據一般為主動使用的數據，更多的是周期性使用的數據，常見的比如領導們常看的日報表、周報表等。 企業的風險發生的概率是分布在每一天的，但是它每一天都可能發生也可能不發生，例如部分員工的消極怠工、部分商品的質量異常、個別門店突然面臨的對手競爭等。這一類風險當然是希望在發生的最短時間內就可以發現並且應對。所以企業中產生了大量的這一類型的報表製作需求。 這類報表也很常見，但是他們價值的體現不如第一層需求類來的直接，這一類報表經常被瀏覽，但大部分情況是沒有發現風險的，所以有時會產生一種這類報表沒什麼用的感覺。 在我們所遇到的項目中，這類需求報表佔比是很多的，也是爭議最大的。領導層所需要看的日/周/月報類報表相對還好，畢竟是每天都會有人看，並且作為企業數據監督和追蹤的一種形式。 此外，還會有很多分析類的報表也屬於這一層級，比如商品的價格帶分析：找到某類商品的價格點，對比銷售高點或銷量高點，從而發現可能的商品價格分布的不合理或者貨架擺放位置的不合理(價格點商品附近陳列豐富的商品可以給顧客帶來商品豐富的感覺)。進一步調整商品價格分布以應對商品陳列或者價格分布的風險(機會)。 這類報表的應用難度比較大，因為經驗或者知識儲備的不同，對風險的認知和識別能力不同。同樣以上面的價格帶分析報表為例，其目的為應對陳列、商品價格分布、商品引進/採購、目標活動人群選擇的風險。但是使用報表的業務人員沒有形成對這些風險(機會)的認知，就造成了缺乏對該報表的數據解讀能力，該報表便成為了一個花瓶報表，價值無法得到體現。 針對這一類報表，我的建議是場景化，讓每一張報表背後都有它的風險機會描述，當自我不能解讀的報表，也就不要指望業務可以解讀並使用，並不是將一堆的指標都進行展示就能產生價值，它於落地的應用還相隔甚遠。 第三層需求：應對未知的未知風險 這類需求近些年來大量出現，大數據概念被大多數人所重視也很大程度上是因為這一類需求。 風險的不可預測性使得大量人群希望通過技術的手段來幫助識別和發現風險。比如很多人希望通過聚類這類演算法的應用，來形成用戶畫像，發現自己之前無法發現的特性，或者通過對商品關聯的挖掘，發現未知的商品關聯關係，從而調整商品布局以發現巨大的商機，比如「啤酒與尿布」(不知真偽)。 但是這類需求實現難度巨大，目前還屬於少數互聯網公司的專利，對於大多數企業尤其是傳統企業而言，其實現成本是難以接受的，個別數據乙方可能會以此為誘餌進行宣講，但就我所了解到的還難以形成很好的應用。 但是第三層需要要怎樣處理？無論是機器還是演算法很多都是對人對模擬，只是擁有更快的速度而已，所以相信通過人的作用可以彌補這一類需求。 同樣以商品模塊舉例：除了我已知的商品價格、布局風險外，通過對商品價格分布那張報表的分析，發現在非價格點的價位(比如是10元)銷量比正常值都高，正常情況10元價格商品的銷量是價格點商品銷量的1/5，但是報表顯示這一期間的比例高達了1/3，通過進一步分析，發現是由於某一天活動對該商品進行打折促銷，從而該商品銷量上升，再進一步分析該商品的銷量上升並沒有給企業帶來業績的上升，該商品的周邊商品銷量基本沒有變化，也就是該商品的連帶率是很低的，同時該商品庫存並非臨保商品。通過調查發現是店長和供應商的私下協議而採取的促銷行為。 以上只是舉例，通過人的思考可以發現很多的未知的未知風險。這也就是近些年來bi系統的出現的原因，bi產品希望能夠給業務人員一個靈活的數據應用環境，讓他們的思考得到延伸和數據上的支持，從而應對未知的未知風險。 當然，理想情況如此，很多企業並沒有將bi產品應用成為以上的價值。原因很多，主要的是包括業務人員沒有分析意識、沒有一個很好的分析入口(不做進一步解讀)。 綜上： 我將對數據分析的需求分為三層，每一層的使用難度也都有不同，越向後越容易產生「這個報表沒什麼用」的感覺。現實中，也有很大程度上確實是這個報表沒法用，因為很多it人員也並沒有理解我做好的報表是為了解決什麼樣的問題，只知道這個指標有用，我就展示給你看。所以這樣的報表可能真的很難用。 我覺得，讓數據發揮它的價值，可以嘗試將數據與風險相關聯，對風險進行數據化的解讀，從而來讓報表更加落地，更加可用。 文 | jiago王佳東fr

將數據轉化成可視化圖表/形，其實一個工具就能完成，礙於工具太多，按照使用場景，暫且將已成熟應用的分為三個層次： 第一層：數據報告、信息圖 這裡統稱信息圖。信息圖是把數據、信息或知識可視化，必須要有一個清楚準確的解釋或表達甚為複雜且大量的信息。 代表人物是新聞界的David McCandless（大衛. 麥克坎德雷斯），曾為《英國衛報》、《連線》、《獨立報》等刊物撰稿。常以簡潔精美的圖像展現複雜抽象資訊，並將不同的數據組合，展現其中的聯繫。他在TED上曾講過： 「可視化並不局限於數字，概念也同樣適用，比如政治傾向圖譜。我試圖將各種政治傾向融入到圖表中，並展示其如何從政府滲透到社會、文化中，對家庭和個人產生影響，繼而又反過來影響政治。 比如用圖形來表示數值 視線流動，構建時空 信息圖的製作： 利用PPT自帶的圖表，可以簡潔直觀的數據圖表，但附上人文花鳥就需要美工設計； PS+AI+icon，前期規劃好表達思路、展示內容、所需素材，之後便大刀闊斧動工組件了。圖表的細節，如柱狀圖的長短依據數據大概等比例量一下。 這一類對數據的維度數量要求都不高，運用的大多是結果數據，側重點也在於展示。 第二層:實際數據應用 應用類的可視化正如上面所說的，將一堆幾百到即使幾百萬不等的數據展示、分析。對於企業，因為這些數據本身是自己生產經營過程中產生的，能反映歷史的狀況，總結髮展之道，對目前的問題或者未來下一步的決策起到輔助作用。 這樣的工具excel能解決，報表工具能解決，BI系統也能解決，具體細化到什麼樣的場景不是這裡的重點，大家可以在下面評論交流。 通常的圖表製作流程是：導入數據（excel）/連接資料庫（本地/伺服器）——選擇圖表（組合）——設定分析維度——美化展示。比如像這種濃濃的帶有商業智慧味道的可視化報表（由FineReport製作） 當然，這樣功力的可視化報表製作需要一定的審美和熟練操作。圖中每一塊都是一個圖表控制項，在表單（dashboard）中拖入一個圖表控制項，選定數據欄位，然後搭配組合，排布版型。 第三層：據挖掘、數據連接、關係傳遞 這個可以理解為從海量數據中挖掘關係。 大致思路：原始數據經過一連串收集、提取、清洗、整理等預處理過程，形成高質量的數據。然後按照需要對數據貼標籤分類或者預測，如果要從大量複雜的數據中提取有價值且不易發現的信息還要數據建模。（細節可能各有不同） 比較適用的是一寫高級的數據分析挖掘工具以及開源圖表控制項，如R，如D3。 用R做可視化，比較容易做出漂亮的可視化圖表，推薦書籍R Graphics Cookbook，書中有150多個recipes，足夠應付大多類型的數據。 D3做圖可以定製，美觀圖圖表的豐富性秒殺大多圖表控制項，但要求的水平有一丟丟高。 最後，再次引用David McCandless的話「炫酷的可視化對於把思想傳遞給大眾又是至關重要的」，切勿一味追求美感，本末倒置。

筆者最近參加了帆軟上海的化工行業沙龍，與眾多知名化工企業CIO聊天，有不少思考與收穫。今天就來談談能源化工生產管理數據分析，說是能源化工業，但其他行業也都可參考！ 能源化工行業有什麼特點？ 能源化工行業資源密集、技術密集、設備密集、人員密集、高度封閉。 能源化工生產管理有什麼特點？ 在生產管理上，資源依賴性強、技術依賴性強、生產流程特殊、設備專業化強。由於能源化工行業的生產特點，大部分企業都非常重視過程式控制方面的系統建設，在重要的裝置上都實施了自動化控制系統DCS或PLC，並且注重實時數據的採集、存儲及整理，實現了過程監控。為了優化生產過程管理，MES也廣泛應用了。而更上一層的ERP系統，實現了資源和業務管理。這主要的三層系統，為我們企業提供了大量的業務數據和生產過程數據。 生產運營分析體系有哪些模塊？ 能源化工企業的生產運營分析體系，可以從兩條線梳理。一條是根據企業經營指標核算方式，也就是集團到分廠、分廠到各車間、各車間到各工藝流程再到具體的設備。這條線路執行下來，主要分析的是生產運行狀態、產量、質量、能耗、儲量等等，關注的是每個環節生產出來的成品（含廢品）的指標和綜合績效。另一條是根據企業的經營管理職權分配，也就是高層企業總覽，中層的生產、物料、質量、倉儲等管理，到具體的生產線的操作小組。這條線路下來，關注的是每個具體環節的效率和效益。 筆者今天主要和大家探討的是第二條線路。生產運營詳細劃分為8大模塊：企業總覽、生產運營管理、物料管理、KPI管理、能源管理、HSE管理、工廠模型，各模塊中關鍵的分析主題我做了如下一張圖。 都是報表，沒什麼的新鮮的啊？ 生產運營分析體系，核心是如何做生產運營分析，報表是最後的展現形式，這背後其實還有個關鍵點：報表之間的邏輯。不同的報表解決了生產運營數據到數據監控的邏輯，不同報表之間的先後解讀關係則是生產運營的業務指導方式。這些報表從哪裡來？ 有個好消息：企業的MES、ERP中，有不少能用得上的報表，甚至有些規划到位、實施完整的項目，加上後期的良好運維，相當數量的報表都能「直接使用」。也就是說，各個業務系統之中已經存在分散的生產運營報表製作和分析。但「直接使用」僅僅指的是可以內容可用，這要起到作用，還需要轉化。想一般報告需要列印成冊給領導一樣，我們的報表和分析也會被要求從MES、ERP等系統界面轉換為PPT或者紙質文件。而現如今，大屏和行動端展現成為趨勢。 有個新挑戰：企業越來越重視數據資產的價值，企業也開始明確要數據驅動生產運營戰略，可是數據怎麼驅動，sql取數+excel 做報表趕不上企業需求，傳統BI系統的報表系統也只能滿足少數高層，我們的生產運營如何實現數據驅動？ 解決方案是選擇能快速迭代的、成本較低的數據分析平台，集中企業數據分析報表，中層和高層領導個人以APP和微信Wechat等社交APP及時查看報表分析，中高層會議以辦公室大屏為主要會議決策材料。公司上下、生產經營以經營報表為基準，推動數據化會議，數據化企業運營。 下面筆者從生產實時監控、庫存、設備運行狀況、厂部月會、集團辦公室會議等方面來分享下心得。 生產運營監控分析 如下是生產綜合管理的一個辦公室大屏，也就是掛在辦公室牆上，或者放在單獨的一張顯示器上應用。我們可以直接從「生產進度展示」看板部分監測到原料煤、甲醇、煤焦油等銷量和產量情況。從「庫存展示」看板部分清晰看到甲醇儲量超高預警，而粗苯、硫氫、液氧庫存處於低位。「重大事件」看板部分滾動最新生產事件。「設備運行狀況展示」看板部分監測和預警生產線設備的運行時長，部分設備已經超負荷運行。補充的「原料成本趨勢展示」和「經濟技術指標成果展示」則把不同分廠績效、不同產品績效綜合分析展示，讓能及時關注生產效益。除了埋頭苦幹，狠抓生產效率；不忘分析，關注產品效益。 具體的使用情況就是：領導一坐進辦公室，可以隨時打開關注這個大屏，及時了解車間生產狀況。不需要給下屬打電話，也不需要下屬再趕工趕時的統計數據和做報表。一旦發現指標異常，領導可以及時介入，第一時間了解事態，做出生產經營調整或者生產事故處理對策。那領導不在辦公室怎麼辦？可能開會，或者在外出差呢？當下最有前途的方案便是和微信、釘釘集成，採用微信、釘釘的企業員工許可權管理和安全控制優勢，結合及時預警消息的推送，領導點開消息，經過指紋或者手勢驗證，直接可以查看企業生產運營事件，直接在手機上便可以做批註指示。 （附上一張供銷存主題的辦公室大屏案例圖） 廠務月度彙報 企業一般都會有定期的會議，但是會議可能多半沒有和企業經營報表與分析關聯。這樣會議不是解決問題，而是成了情況通報會。由於這樣的會議對解決生產問題幫助不大，所以往往被擠占，真正的經營分析會議寥寥無幾。 我們將經營分析與會議體系結合，實現「開A會議用A報表組合，開B會議用B報表組合」。明確經營指標的分析頻率，把使用報表分析和會議結合起來。我們看下「廠務會上產彙報」（截圖數據已脫敏）如何成為企業管理的發動機。 月度總產值35億元，環比上升3.45個百分點，但是同比下降3.57個百分點。說明上月（2016年9月）生產，對比近期，有所提升，但是對比往年同月，仍有下降。結合該公司經營背景：本年度（2016年）生產有所調整，我們重點關注的是環比數據。環比上升，說明生產能力正在逐步提高，這是可喜的好消息。再看產銷存分析，產品期末庫存大於期初庫存，月度銷量低於產量，只達到了87.4個百分點。考慮到目標是減少庫存，那麼顯然應該重點關註銷量是否可以提升，或者是否考慮適當降低該系列產品產量。分析日產量完成率，明顯發現，生產重點放在了斜鋼和半鋼上，超額完成2倍。而全鋼生產只達到了計劃的37.47個百分點。如此重大的產品生產配比，必然是需要生產部門來會上解釋，然後做出決策，是繼續保持還是要調整生產，保證全鋼生產。前面我們看到產值環比上升，半鋼、斜鋼超額生產。煉焦庫存量已經到了最低安全庫存邊緣，急需干預處理。最終，一張報表結合其他報表，確定下來是調整生產還是調整銷售。用數據來支撐決策，建立參會人員信服的業務處理流程。 集團會議大屏 集團會議大屏，核心要點是兩個實實在在的詞：好看、整合。如何理解好看？從IT供應商到我們的能源化工企業，甚至整個社會市場，大家基本公認，大屏就是要好看，要炫（輪播效果、3D效果、聲光交互等），這塊典型的就是各種開源的插件做出來的效果。筆者認為，企業將效益，講利潤，如果確實需要酷炫效果來爭取高層認可、同行認可、甚至一些政治資源，大屏酷炫還是相當必要的，這就是實用價值。如何理解整合？我們看下面第一個應用插圖。集團會議室將MES系統的生產頁面直接掛到數據分析平台中，與下面第二個應用插圖同在一個門戶下。高層會議直接利用一個大屏，通過頁面切換，直接能分析不同系統的數據。中層進行彙報，無需PPT支撐即可，而且這些都是實際業務系統運營的實時數據，一般在企業的管理制度下，無法作假或者美化。無法增刪改指標和報表來突出經營政績，隱藏業務問題。 其實這種一個平台整合所有分析報表的方式，不僅僅適合高層，同樣也適合中層。比如OA中集成其他系統報表，或者OA、ERP、MES中的報表和數據分析平台的報表整合在一個系統，領導只需一個系統就能獲知自己關注的數據和信息，方便決策。再加微信集成、釘釘集成的普及，行動端查看經營分析報表，即使出差在外，也能隨時對滴直接指導業務經營，處理緊急事件。這對生產和管理的改變是長期的。 可不可以不整合呢？這個沒有標準答案。從經驗來看，領導對OA、ERP、MES，以及其他生產系統中的報表關注是積極有限的，甚至好些半年都不一定登錄兩次。那領導想要的分析，MES裡面有，可他卻看不到，怎麼辦？是讓領導改變，增加高層的辦公時間還是我們尋求其他方案，節約高層時間？對於決策層，用有限的金錢換決策層的時間，從長遠來看，是正確選擇。 今天重點聊的是能源化工的生產模塊，關於銷售、供應鏈等模塊的數據分析，可以翻看筆者的另一篇文章（本文開頭有鏈接）。 前文一些當下心得，筆者不是能源化工行業的專家，可能不少謬誤，歡迎指正，也歡迎留言交流下你做的數據分析工作或對生產大屏報表的見聞。聽說大家都很喜歡數據分析模塊化的指標體系，來，附上一張！ 文| 帆軟數據應用研究院 船長@李向川

寫在前面 筆者寫這篇文章的初衷源於兩個故事： 故事一：一位在互聯網行業做資料庫架構多年的同事一起吃飯，問起我現在在說什麼，我說自己在做醫療方面的數據分析，同事笑，說：你有很多資源啊，只要你能拿到電子病例的數據，就能分析很多東西了……我臉上的微笑表情瞬間僵化！ 故事二：當時為內蒙一個企業做上游原材料供應商的數據管理項目，當時我們拿到的只是該企業小部分供應商的數據，下一階段計劃拿到其全國供應商的相關數據給該企業進行管理支持。有一天，我們的項目負責人很興奮，高興地對我說：後面我們拿到所有供應商的數據後，我們做的就是「真正的大數據」了，你要考慮一下後面的大數據分析如何做啊……我臉上的微笑再一次僵化！ 大家覺得以上兩個故事如何？我當時內心是有一萬頭羊駝奔騰而過的~~ 寫這篇文章的目的很簡單，就是希望向不了解數據分析體系建設的朋友們解釋一下：數據分析到底都包括些什麼？從完成數據採集到做出數據產品，到底有多遠的路程要走？筆者在工作的過程中碰到過很多企業老闆、客戶以及領導，他們對數據分析的理解之淺薄，讓我覺得難以置信。和他們交流之後的感觸，促使我寫了這篇文章。 1. 數據分析本身是一個過程 數據分析是企業的一種能力；數據分析本身是一個過程；數據分析的本質是一種思想。 數據分析是一個過程——企業利用這一過程將數據中的信息提取出來，進行處理、識別、加工、呈現，最後成為指導企業經營管理的知識和智慧。因而，企業利用這一過程的成熟程度，決定了企業使用數據的有效程度。 影響這一過程的因素有四個：（如果有不同意見，還請大家補充） 1、 技術和方法：我們的信息採集技術、資料庫架構、數據處理技術、演算法、可視化等都會在很大程度上對這一過程產生根本性的限制或改變，這就是為什麼分布式存儲、運算等技術成熟後，大數據這一概念被熱捧的一個原因； 2、 數據的應用：更準確的說數據應用在一個企業、一個行業甚至全社會中被理解的程度有多深、使用範圍有多廣，決定了你的數據影響力能夠達到的程度； 3、 商務模式：這是一個當數據能力在市場中體現時才會發揮作用的因素，好的商務模式可以為行業內、跨行業的數據應用、數據產品提供好的商業智慧環境，幫助其成長；而壞的商務模式也可能毀掉一個好的數據產品； 4、 制度和規則：制度和規則既有國家層面的，例如數據安全保障方面的法規；也有行規、企業內部制度等。這些制度和規則保障了數據能夠被人們用在需要且正確的地方，而不是被濫用（某種程度上，制度和規則的缺失也是造成數據安全問題、行業數據標準混亂的主要原因）。 在我看來，從拿到數據到將數據中的知識提煉成人類的智慧，這是一個很長的過程，有可能一年甚至幾年（但是很多人把這個過程想得太短了）。 首先，想要分析數據你要獲取數據。獲取數據這個過程如果是線上還相對容易，如果是線下就非常複雜，這也是為什麼現在實體行業推進「互聯網+」如此緩慢的一個原因。 其次，得到數據之後，如何整理才能讓數據變成信息，也是個「技術活」。這裡涉及到數據的清洗、整理、關聯等等問題，最麻煩的還不是做這些工作，而是隨著我們對數據認識的加深，這些工作總是不定時地就要返工修繕一遍——這也是沒有辦法的事情！ 再次，數據整理得到的信息是海量的，需要經過加工、提取、抽象等操作，提煉成為各項知識被人腦理解、吸收。這個過程就涉及到各種分析方法的使用，而且這也是個隨著對業務認識的加深而逐漸複雜的過程，金融領域的風控模型、宏觀經濟領域的福利模型等等，都是發展多年並逐步演進的例子。 最後，人們在各個業務領域通過數據得到知識，在很多情況下可以重複應用在不同的領域，並與其他領域的知識相融合，形成新的生產生活方式。每個領域的知識內容如何相互融合，也是一個需要長期實踐和探索的過程，「產品」這一概念從誕生到現在的發展過程，就是一個很好的例子。 我把上述過程做了一個簡單的比喻幫助大家理解： 採集到的原始數據就像是一個一個的沙礫，在沒有任何整合的情況下都是「一堆一堆的」； 數據處理的過程就是把沙堆中的雜質去掉，把每種顏色的沙礫區分開，再通過不同的工藝使其成為不同的磚塊； 每個磚塊在建造數據大廈的過程中都有不同的用處，我們會按照圖紙（就是數據分析體系）將不同的磚塊用在適當的建築位置上； 數據大廈構建完成後，每個房間裡面要完成的工作都各不相同，到底如何運用，就要看大廈使用者的安排了~~ 那麼，我們就來看看企業到底要做些什麼，才能完成從數據採集到智慧積累的這一過程。 2. 企業的數據能力層級 個人認為，企業的數據分析能力層級大概可以分為七級（這裡列出七個能力層級是強調底層基礎數據採集的意思）：基礎IT系統的搭建、數據集中與標準化處理、數據報表及可視化的實現、日常產品和運營分析、精細化運營管理的實現、數據產品的輸出和變現、數據戰略的形成。 個人水平有限，最後的數據戰略從沒接觸過，所以這裡不做闡述。 可能有同行會對這個金字塔的層級不認同，而且大部分專家也認為這幾個部分是平級關係，不存在高低關係……我這裡這樣列出來只是為了說明「要做到每個層級的水平，該層級以下的內容都是支撐這些層級的必要條件」而已，實際中的確是存在諸如「數據產品已經完成上線，但是數據可視化還停留在需要人工完成報表的階段」這樣的情況。（在互聯網行業中，往往數據產品是最先出現的，而後才產生數據採集及後續內容，因為有了產品之後才會有業務流程；但是在實體行業中，線下業務流程是已有的，不需要等數據產品產生後才有業務流程，所以二者的數據分析構建過程完全不同。我這裡對互聯網產品領域不做考慮。） 下面我們就來詳細說說每個層級的具體內容。 2.1. 基礎IT系統 最底層的」基礎IT系統」是一切數據分析的基礎，因為它最重要的作用就是完成「數據採集」。 「基礎IT系統」，這裡主要指的就是我們各個企業在實際生產中使用的軟體系統及其配套的硬體設備，如：網路世界中的一串串抓取代碼，真實世界中的諸如醫院裡的醫學影像設備和其他感測器、探測器，財務使用的財務管理軟體等等，這些系統解決了我們口中的「數據採集」問題，正是因為有了這些基礎的IT系統（包括軟體和硬體），我們才能將生活中的所有一切數字化、可度量~~ 解決了最基本的「數據採集」問題之後，是不是意味這我們就有數據了呢？NO！從數據採集系統中拿到的信息有這樣幾個特點：割裂的、碎片化的、無序的，它們必須經過處理之後才能用於使用，因而我們需要進入到下一個階段「數據集中與標準化」。 2.2. 數據集中與標準化 在「數據集中與標準化」這一層級中，我們要實現的是數據的集中管理與相互融合，打破數據壁壘，讓數據能夠正常地在企業內流動。如果把數據比作企業運營的血液，那麼我們要做的就是打通所有的血管，讓血液自由地流動。 因而，這一階段的工作並不只是「數據集中」和「數據標準化」兩件事情，需要做的內容大概包括：（如有缺少的部分還請大家補充） 1、 數據清理： 這個步驟解決的問題是將系統採集到的內容轉化為人類能夠理解的數據內容，主要有兩個方面：一是清理原始數據，使之完整、乾淨無雜質；二是將採集到的一些編碼信息轉化為人能看懂的文字、數字等數據。 2、 數據邏輯和數據結構的搭建： 每個系統中的數據描述的都只是企業業務流程中的一部分，因此梳理業務流程，按照業務流程找到各個系統之間數據的銜接點，從而實現多領域數據的關聯。 第一步，根據業務邏輯，需要將數據分別劃分為多少類？每一類的欄位、緯度、統計周期等都是什麼樣的？每一類數據需要多少層匯總？……這些問題首先將數據從採集的清單分離出來，成為一個個數據體系； 第二步，在考慮數據關聯邏輯方面，需要考慮三個方面： 1） 關聯使用的「主鍵」需要在各個系統中實現統一，即在各個相關的系統中，對於同一內容的同一主鍵是相同的，例如：在電信系統中，用戶ID是個在所有相關係統中可以唯一標識用戶的主鍵，而非手機號碼； […]

數據戰情平台的建設可以當做一個產品來設計。從廣義上來講，所有以數據驅動為核心的都可以稱為數據產品（如數據報表平台，DMP，BI平台），從狹義上來講，就是公司內部的數據戰情平台。今天我們要討論的，主要是在公司內部搭建數據戰情平台。 公司的內部數據平台，主要是給各業務提供數據處理、分析、展示，供內部所有部門人員使用的，涉及數據的收集（填報）、數據的整合、業務報表製作、業務員數據分析以及視覺化數據展示，目的是讓公司內部的所有業務都能通過數據來驅動和輔助決策。簡單點講就是通過數據分析平台來驅動公司內部的數據化運營。 那麼如何設計符合企業實情並能解決實際問題的數據分析平台呢？ 1. 平台建設主導人需要對每一塊業務需求有深刻的了解，知道每個業務部門想要看什麼樣的數據，需要什麼樣的分析報表；這些數據是否現在就可以獲取到，是否需要收集；業務部門通過這些數據分析，是如何推進和改善業務，是否有提升的價值意義。 2. 平台的設計需要根據業務的要求設計符合使用者需要的內容，產品要有層級和結構。如果設計的一張數據報表既要滿足管理層的需求又要滿足一線業務人員的需要，那麼這樣的數據產品體驗很大可能是比較差的。因為領導和業務人員的關注點不一樣，看數據的視角也不一樣。領導往往需要一些能幫助把握大方向的關鍵指標，並且希望知道這些指標之後的問題是什麼？原因是什麼？所以給領導設計的報表需要直觀易懂，並且能夠基於這些指標的一場定位到問題。而業務人員更在乎業務的執行，關注的數據往往粒度很細，需要知道各項指標的明細。 如何設計企業內部的數據平台？ 領導關注的報表（FineReport報表與商業智慧軟體製作） 銷售領導關注的指標明細（FineReport報表製作） 3. 數據平台一定要注意數據質量、規範、統一。因為數據分析平台是面向所有業務的，怎麼保證公司的所有部門人員對於數據的理解是一致的，這點特別難。（比如服裝行業的「斷碼」，從領導層來講，公司倉儲的服裝全部尺碼如果不完整就是斷碼；從倉庫的倉管員角度來講，倉庫內的服裝尺碼不全就是斷碼；從門店的業務員角度來講，客戶需要的尺碼當前門店無貨就是斷碼）。公司的業務系統各有不同，資料庫分布，數據口徑不一，數據孤島問題，導致數據的質量和結構也千差萬別，越是這樣，數據倉庫的數據建設就顯得尤為重要。平台的數據質量依賴於數據倉庫底層的數據模型，所以一個好的數據倉庫很大程度上決定了數據分析平台的數據質量。 4. 工具選型上，有報表平台、BI。報表平台適合構建基礎的規範化的數據分析平台，從明細報表（表格類）的，項目檔案，文件報備，數據填報，數據報表，業務主題分析，文中的所有demo就是用FineReport製作，側重於展示和報表管理。BI側重於分析，拿到數據可以自己拖拽維度來分析，不同於報表受模板框架的限制，涵蓋簡單的明細報表、分析報表和主題分析，製作要簡單很多，大數據量的處理性能也強勁很多。 下面我們就從實戰的角度來加以闡述。 某公司是一家電子商務公司，那麼該公司的各部門需要看哪些數據呢？首先收集日常常用的數據指標，哪些是經常要查詢的，哪些是要日常填報的，這些在過往的經營中都有備案，好收集。這就構成了日常的基礎查詢類報表，這類報表最佔大頭。 其次，我們可以觀察一下各部門的KPI是什麼？下放到團隊以及個人的KPI是什麼？是否能以具體的數字來量化？如果對負責支持的部門的KPI不了解，就去尋求部門領導幫助（使用者最懂要什麼），不落實指標如何能設計出好的數據報表？通常粗略的，例如採購部門的KPI基本就是銷售額、訂單數、銷售毛利潤、採購成本；運營部門的KPI就是新老用戶述、留存率、復購率、用戶流失、轉化率，市場部門的KPI就是PV/UV、新客數，這就構成了各部門日常管理的報表。 那麼知道各個部門的核心KPI後，下一步就是針對一些特定場景的主題報表。主題報表往往是記錄某一事件，其中的指標都是相互關聯的。 比如，我希望知道這個月我的績效完成的怎麼樣？在團隊內排名是提升還是下降？每個人的績效結果明細是怎樣的？——這就構成了日常考核報表。 又比如在分析產品時，需要重點關注某些產品的相對市場份額和市場增長率，則要建立波士頓矩陣分析，以便讓資源有效地分配到合理的產品結構中（當然還有其他分析角度）——這就是品類分析。 產品分析（FineReport報表與BI系統製作） 再從業務分析和使用場景入手，拿採購部門的小王來說，他是怎樣看數據的呢？ 每天早上，我希望知道昨天的銷售情況怎麼樣？所以這時候應該設計一張基礎查詢報表給到他，這張數據報表應該具有以下功能和內容： 1.能夠查看昨天以及過去各時段的數據；能夠按照產品、地域來統計；能夠與過往的平均值做比較，看看是不是某區域某產品的趨勢上有大的變化，是不是廣告投放，活動推廣帶來的，影響大不大。其次，每個月，每季度的數據是多少，能夠選定時間段自動展示。 2. 指標越豐富越好，如果銷售額下降了，看看是不是訂單數下降了，訂單數沒變是不是客單價的問題，是由於商品結構的原因還是活動門檻調整導致的。 3. 數據分析的能夠下達的粒度越細越好。比如數據粒度可以從全國下鑽到省份，從省份下鑽到城市，這樣交易額下降了就能知道是哪個省哪個城市出了問題？就能針對性的解決。 經過以上幾個步驟，即可形成平台雛形，形成規劃文檔。但一個數據分析平台，無論前期規劃得多麼豐富，也不可能一蹴而就。公司的業務在不斷變化，分析的內容也越來越豐富，在這過程中總需要不斷磨合和調整，只有不斷完善之後，才能形成一個更加量身定製的實用平台。

就「大數據+金融」思維利用而言，國外金融機構有著十足豐富的體現，已經將大數據技術在風險控制、運營管理、銷售支援及商業模式創新等領域進行了全面的嘗試。 案例一：滙豐銀行-風險管理 滙豐銀行在防範信用卡和借記卡欺詐的基礎上，利用SAS構建了一套全球業務網路的防欺詐管理系統，為多種業務線和渠道提供完善的欺詐防範。該系統通過收集和分析大數據，以更快的信息獲取速度挖掘交易的不正當行為，並迅速啟動緊急告警。 案例二：Kabbage-開闢新商業模式 Kabbage主要為網店經營提供貸款服務的金融機構。其通過大數據計算開闢了一條新的商業模式。通過對網店店主的銷售、流量、評論以及商品價格、存貨和信用記錄數據，精確計算出是否需要貸款且貸款金額數。 然而在大數據時代，能利用大數據並獲得成功的案例畢竟是少數，大部分都面臨著嚴重的阻礙： 1、 行業競爭加劇。以阿里巴巴等數據驅動型企業在技術上搶佔先機；在數據資源上佔據優勢；大數據的應用、推行較傳統金融機構快。 2、 基礎設施的挑戰。目前數據以更快速度在增長，尤其是非結構化數據。而傳統銀行業的基礎設施已無法滿足對數據的處理需要。 3、 安全管理的壓力。由於雲計算的普及、系統複雜性的提高，造成金融機構的風險隱患傢具，這也使得諸多傳統金融機構仍走保守步伐。 大數據無法轉化為「大價值」的原因是什麼？ 《2015中國大數據應用前沿調研報告》指出，數據、技術及思維的掌握決定了大數據能夠創造多少商業價值。 數據方面，結構化數據、半結構化數據以及非結構化數據共存是目前眾多金融機構普遍面臨的數據問題。 技術方面，絕大多數傳統金融機構面臨新的技術難題，傳統的分析方法難以適應大數據的管理需要，如非結構數據處理。企業需要更有效的數據挖掘演算法。 思維方面，國外對大數據的利用大多圍繞風控、運營和銷售支援。國內起步較慢，市場需求細分和渠道整合價值才已得到國內金融行業的較普遍認識，大數據尚有很多待發掘的價值。 從報告提供的金融行業大數據能力需求分布來看，企業對於數據挖掘需求占首位，而查詢、報告和數據可視化這兩類基礎性的數據工作卻仍佔1/3以上，這也說明了傳統金融機構對數據基礎利用水平的滯後。 很多銀行企業都認識到這一點，紛紛利用第三方軟體或自主開發那個的方式搭建數據可視化平台，完善數據化的流程管理，彌補這一方面的空缺。 案例一：某國有商業銀行-大數據平台建設 在信息化建設中，該銀行面臨數據可視化展現、數據查詢的問題，提出「獲取數據，追溯數據，挖掘數據」需求目標。宗旨是整合數據、統一管理以及提高報表製作效率。 利用帆軟報表打通各業務系統，整合新舊歷史數據搭建數據查詢平台；由於渠道經營管理機制不靈活，各網店管理成本偏高，利用報表製作系統連接系統實現渠道數據展現；結合Gbase、Oracle資料庫將報表平台與大數據分析軟體結合，對作業日誌監控，推動大數據平台應用。 案例二：某城市農商行-商業智慧平台建設 「數據分散、口徑不統一」是該銀行在數據化運營面臨的主要問題。通過搭建帆軟報表系統，構建了包含報表，分析，數據挖掘和業務監控的數據中心應用，以領導決策分析為嚮導，通過系統進行展現，為經營管理提供數據支撐。 從技術上來講，金融機構在大數據利用上存在兩個重要節點，一是底層基礎數據的處理，包括整合、清洗以及數據統一平台的建設，這一點需要結合業務、戰略去分析規劃設計。二是挖掘數據背後隱藏的規律、相關關係等。 綜合以上的分析和案例，銀行、金融機構對於「大數據」的駕馭要從眼下痛點著手，底層基礎數據方面要對數據質量，標準規範和約束性提出要求。數據分析、運營化管理結合業務需求，制定規範流程，可視化前端展現流程分析。領導層可通過BI系統等項目對重要指標實施監控及實時的分析。 更多好文推薦： 【生產和庫存】分析生產和庫存，靠這一套指標就夠了！ 大屏做成這樣，領導不重視你都難！ 真正的數據分析師都做些什麼？ 書單 | 從入門到精通，數據分析不得不看的10本「好書」！ 從事數據分析的你，如何做好職業規劃？ 【銷售】銷售真的可以精準預測，只要你這樣分析！ 金融行業數據案例集錦 資料分析人的福利：20個免費開放資料源 【戰略】打敗競品第一步，做好競品分析！

互聯網行業的資料倉儲就是所謂的敏捷資料倉儲，不但要求能快速的響應資料，也要求能快速的響應業務。建設敏捷資料倉儲，除了對架構技術上的要求之外，還有一個很重要的方面，就是資料倉儲，如果一上來就想著建立一套能兼容所有資料和業務的資料倉儲，那就又回到傳統資料倉儲的建設上了，很難滿足對業務變化的快速響應。

近日，Gartner發布了《Analytics and Business Intelligence Modernization Primer for 2017》報告，詳細闡釋了Gartner2017年BI和數據分析領域的研究方向。 為實現快速和可靠的業務決策，企業需要有效的分析和商業智慧系統。這個看似簡單的目標，對於大多數企業來講，實現起來並不是很容易。整體來看，數據與分析負責人主要面臨3大挑戰： 1、需要確定哪些分析能力是提供商業價值的必要條件； 2、必須管理新興的角色、技能和專業知識，這些要素能夠使分析團隊履行職責並在適當的時候為業務用戶提供培訓，使他們能夠自助分析； 3、在創建直接支援數字化業務方案的敏捷分析解決方案時，被現有的態度、流程和技術所束縛。 Gartner的目標是在決策的關鍵時刻為決策者提供分析，幫助企業能夠在數據來源、類型和數量不斷變化的信息化環境中，迅速有效地採取行動，成為數據驅動型的企業。所以Gartner在本篇報告總表明，他將從戰略、做法、技術和產品四個維度來看如何創造數字的業務價值，以幫助中國企業組織將分析投資和戰略業務目標緊密結合，評估分析技術趨勢、服務和新產品。帆軟數據應用研究院也將長期追蹤、解讀Gartern相關報告，幫助CIO們有效進行數據的探索、挖掘、分析和利用，讓數據成為企業生產力。 下面是Gartner2017年BI系統和數據分析領域的具體研究計劃： 一、為提供業務價值需要哪些基本分析能力？ 闡述深度學習和智能數據發現等新興技術的影響。 分析各種不同分析軟體和服務市場的主要供應商。 發現新的出色的供應商，並分析市場領導者重要產品發布的影響。 二、如何在所在企業培養、投資和建立現代分析技能？ 制定分析專業知識的採購戰略：如何制定培養現有分析人才的培訓計劃，如何發現所需的分析人才，以及哪些服務供應商適合成為合作夥伴。 企業如何發展正確的軟技能，以確保在商業決策中充分發揮分析的潛力。 如何選擇恰當的組織結構，以確保全職和自助服務分析師的生產力和實效。 三、如何創建直接支援數字化業務方案的敏捷分析解決方案？ 企業如何利用AI等新興分析技術來完成以前不可能的事情。 企業如何利用分析來解決績效管理、客戶維繫和風險緩解等傳統問題。 如何成功使用新興數據類型（如物聯網感測器數據流或用戶生成的內容視頻）的最佳實踐。 文 | 水手哥

大數據分析的作用主要是，對當下的現狀分析，對問題的原因分析，以及對未來走向結果的預測分析。 除去數據和工具，數據分析過程中更重要的的是分析模型，一個成熟的分析模型一定是涵蓋了分析目的（導向）、數理統計、業務理解和管理理論。 通常，一次完整的數據分析，自有了明確的分析思路，可以「套框架」。框架內包含分析的內容和指標，給出了分析工作的宏觀框架，根據框架中包含的內容，再運用具體的分析方法進行分析。 以下給出了五大數據分析模型的應用場景，根據數據分析所選取的指標不同也有所區別。 一、管理和市場類方面的理論模型。 包括PEST、5W2H、生命周期、邏輯樹、時間管理、金字塔、SMART、4P原則等，今天介紹其中4個。 1、PEST PEST分析模型主要針對宏觀市場環境進行分析，從政治、經濟、社會以及技術四個維度對產品或服務是否適合進入市場進行數據化的分析，最終得到結論，輔助判斷產品或服務是否滿足大環境。 PEST：政治(Political)、經濟(Economic)、社會(Social)和技術(Technological) P：構成政治環境的關鍵指標有，政治體制、經濟體制、財政政策、稅收政策、產業政策、投資政策、國防開支水平政府補貼水平、民眾對政治的參與度等。 E：構成經濟環境的關鍵指標有，GDP及增長率、進出口總額及增長率、利率、匯率、通貨膨脹率、消費價格指數、居民可支配收入、失業率、勞動生產率等。 S：構成社會文化環境的關鍵指標有：人口規模、性別比例、年齡結構、出生率、死亡率、種族結構、婦女生育率、生活方式、購買習慣、教育狀況、城市特點、宗教信仰狀況等因素。 T：構成技術環境的關鍵指標有：新技術的發明和進展、折舊和報廢速度、技術更新速度、技術傳播速度、技術商品化速度、國家重點支援專案、國家投入的研發費用、專利個數、專利保護情況等因素。 2、5W2H 5W2H分析模型的應用場景較廣，可用於對用戶行為進行分析以及產品業務分析。 5W2H分析法主要針對5個W以及2個H提出的7個關鍵詞進行數據指標的選取，根據選取的數據進行分析。 例如： 3、生命週期理論模型 一般對於產品生命週期的討論，以市場銷售的觀點可分為四階段 （1）導入期(Development Stage)：指產品剛推出市場，銷售成長緩慢的時期。 （2）成長期(Growth Stage)：指產品逐漸被市場接受，銷售成長迅速的時期。 （3）成熟期(Maturity Stage)：指產品已為多數的購買者接受，銷售成長緩和且呈現穩定狀態的時期。 （4）衰退期(Decline Stage)：指產品銷售急速下降，終至被其他替代性產品所取而代之。 現在生命週期理論被應用到更多的地方，企業、行業、產品、客戶都用生命週期模型來分析，處於不同階段週期階段，需要企業運用不同的手段來應對。 會員分析中的生命週期分析，不同時期的會員區別對待。 工業產品的全生命週期閉合管理。 4、邏輯樹分析模型 邏輯樹又稱問題樹、演繹樹或分解樹等，是由世界知名管理顧問公司麥肯錫公司所發展而來。透過從已知資料中找出具關鍵影響力的變數，在藉由建立出樹狀的分類模型，呈現不同變數之間的順序或因果關係。邏輯樹狀圖可以用來進行資料分析與目標決策，幫助找出最佳的解決方案。 如何提高銷量的邏輯樹分析 二、行業宏觀關鍵指標 行業宏觀指標通常涵蓋了這個行業中各業務的關鍵指標，對標的是企業管理人員所關注的數據。正如很多企業的大屏所展示的內容一樣。（下圖數據圖表都採用帆軟的FineReport報表製作） 1、地產行業 2、銀行業 三、細分業務類分析指標 業務類分析指標是對業務中的具體流程數據的監控和分析，通常對標的是部門管理者和業務人員所關注的指標，數據常出現在各類分析報表上。 1、財務類 2、銷售類 以上關於行業宏觀指標和細分業務類的指標只是列舉了一部分，如果您需要更多，請聯絡臉書粉絲團小編：FienReport報表軟體。