「報表太慢了吧，我就按門店查詢下這個月的銷售，卡了1分鐘了還沒出來，你們做這個到底行不行？」 在老闆要、業務改、指標混亂、口徑不統一的狀況下好不容易上線了一張報表，就被埋怨報表出數太慢，整天要求提速提速。這一度成為表哥表姐們的心頭大患。解決這個問題除了選擇性能比較好的報表軟體外，在製作報表中也可以通過一些方法優化報表速度。 下面這篇文章來自帆軟論壇番薯 shinger@126.com，他總結了在使用finereport報表BI商業智慧軟體時，製作的報表展示速度慢的5個原因，以及如何進行優化。看看你有沒有中招吧！ 1.為圖方便寫程式碼，寫SQL的時候，直接在有索引的欄上直接用函數 舉個例子： 銷售單上銷售日期這個欄上鍵有所有，要根據年和月2個參數來查詢某個月的銷售單數據，很多就是這樣寫的：以MS-SQL為例 select * from 銷售單 where year(銷售日期)=${年份} and month(銷售日期)=${月份} 其實這樣會導致索引失效，如果銷售單這個表上的數據比較多，那麼執行就會非常慢 正確的寫法： 改變思路，在參數上執行計算，比方說查詢2017年10月份的，轉換成 [銷售日期>=’2017-10-01′ and 銷售日期= DATEADD(MONTH,${月份}-1,DATEADD(YEAR,${年份}-1900,’1900-01-01′)) and 銷售日期= ‘2017-10-01’ and 銷售日期 < '2017-11-01' --返回50萬條記錄 正確的做法: select 地區,sum(銷售金額) as 銷售金額 from 銷售單 where 銷售日期 >= ‘2017-10-01’ and 銷售日期 < '2017-11-01' group by 地區 --有多少個門店返回多少條記錄 這樣能減少數據從資料庫返回到報表伺服器的I/O開銷 5.在報表數據多的時候，做SQL注入查詢。 仍然以銷售單為例，比方說銷售單上有客戶ID，沒有客戶地址，客戶地址存在客戶資料表上，我們需要做一個銷售單明細報表，上面要有客戶地址，有的人會這樣寫來獲取客戶地址: 在儲存格中設定公式 =sql("銷售數據","select 客戶地址 […]
為什麼數據分析思維重要 如果我們在分析一個問題前，思維缺失就像下面圖中所表達的一樣，往往不知道問題從哪裡下手，在這個時候就輪到平時鍛煉的數據分析思維了。 核心數據分析思維 結構化 可以看作金字塔思維，把待分析問題按不同方向去分類，然後不斷拆分細化，能全方位的思考問題，一般是先把所有能想到的一些論點先寫出來，然後在進行整理歸納成金字塔模型。主要通過前面介紹的思維導圖來寫我們的分析思維。 案例 現在有一個線下銷售的產品。 我們發現8月的銷售額度下降，和去年同比下降了20%。我想先觀察時間趨勢下的波動，看是突然暴跌還是逐漸下降。再按照不同地區的數據看一下差異，有沒有地區性的因素影響。我也準備問幾個銷售員，看一下現在的市場環境怎麼樣，聽說有幾家競爭對手也縮水了，是不是這個原因。客戶訪談也要做，但是往常一直找不出原因，這次我也不抱希望，姑且試試吧。要是還找不出原因，那我也很絕望啊。 公式化 在結構化的基礎上，這些論點往往會存在一些數量關係，使其能進行＋、－、×、÷的計算，將這些論點進行量化分析，從而驗證論點。 業務化 業務化即是深入了解業務情況，結合該項目的具體業務進行分析，並且能讓分析結果進行落地執行。用結構化思考＋公式化拆解得出的最終分析論點再很多時候表示的是一種現象，不能體現產生結果的原因。所以需要繼續去用業務思維去思考，站在業務人員或分析對象的角度思考問題，深究出現這種現象的原因或者通過數據推動業務。 增加業務思維方法：貼近業務，換位思考，積累經驗 數據分析的思維技巧 在數據分析中，三種核心數據分析思維是框架型的指引，實際應用中還是需要很多技巧工具的。7種數據分析技巧，它們分別是象限法，多維法，假設法，指數法，二八法，對比法，漏鬥法。 象限法 通過對兩種維度的劃分，運用坐標的方式表達出想要的價值，由價值直接轉變為策略，從而進行一些落地的推動。象限法是一種策略驅動的思維，廣泛應用於戰略分析，產品分析，市場分析，客戶管理，用戶管理，商品管理等。 下圖是RFM模型，把客戶按最近一次消費(Recency)、消費頻率(Frequency)、消費金額 (Monetary)三個維度分成八個象限。 菜品銷售增長率和銷售利潤 多維法 多維法是指對分析對象從多個維度去分析，這裡一般是三個維度，每個維度有不同數據分類，這樣代表總數據的大正方體就被分割成一個個小方塊，落在同一個小方塊的數據擁有同樣的屬性，這樣可以通過對比小方塊內的數據進行分析。如圖，這是一個快餐店的外賣訂單多維表： 雖然只有下單時間、菜品名稱、平台三個維度。但根據這個立方體，已經能解決很多掌柜急需了解的問題了。 我們可以通過切片實現每個平台每種菜品的銷量，每個月每種菜品的銷量，某個月某平台菜品銷售情況等等操作。 假設法 在一些情況下，如進入新市場的銷量、商品提價後銷量的變化情況，可能沒有明細數據進行分析，那麼就需要用到假設法。假設法也就是假設一個變數或者比率成立，然後根據部分數據進行反推，這是一種啟發思維的技巧，一般過程是先假設後驗證然後判斷出分析結果。 例題：你是自營電商分析師，現在想將商品提價，你分析下銷售額會有怎樣的變化？解答思路：首先可以確定銷量會下降，那麼下降多少？這裡就要假設商品流量情況，提價後轉化率的變化情況，然後根據歷史數據匯總出銷量下降百分百，從而得出銷售額的變化情況。 · 假設商品提價后，銷量一定會下跌，問題是銷量下跌多少？ · 首先假設流量不會有變化，流量和渠道行銷正相關，商品價格影響轉化率，那麼現在確定轉化率的波動。 · 找出平時的轉化率（譬如為20%），預估提價后的轉化率變化。假設各類用戶對價格敏感度不同，那麼將用戶劃分為忠誠··、普通··、羊毛··· · 不同用戶層次數量不同，反應不同。忠誠用戶轉化率變化極低，羊毛幾乎不會轉化···這些數據可以憑藉經驗作出假設。最後匯總。 指數法 指數法是把某個數據多個指標按一定的計算轉化為同度量的一個值，這個度量值稱為指數。例如在一場遊戲競技比賽中要確定該場的MVP，則是需要根據擊殺數、死亡數、助攻數、經濟、補兵等指標進行綜合計算出一個得分，得分高的為MVP。 指數法常用的有線性加權、反比例、log三種。線性加權即是把每個指標乘以一個係數後相加，反比例即是用數學上的反比例函數y=k/x變化後在計算，log即是數學中所說的對數一般以2為底數或者10為底數。指數法使用沒有統一標準，一般是根據經驗來做，將無法利用的數據加工成可以可利用的。例如，NBA計算最有價值球員的指數參考： NBA比賽數據貢獻值： （得分+籃板+助攻+搶斷+封蓋）-（出手次數-命中次數）-（罰球次數-罰球命中次數）-（失誤次數/球員上場比賽的場次） 二八法 二八法即是二八法則也可以叫做帕累托法則，比如在個人財富上可以說世界上20%的人掌握80%的財富。而在數據分析中，則可以理解為20%的數據產生了80%的效果需要圍繞這20%的數據進行挖掘。往往在使用二八法則的時候和排名有關係，排在前20%的才算是有效數據。二八法是抓重點分析，適用於任何行業。找到重點，發現其特徵，然後可以思考如何讓其餘的80%向這20%轉化，提高效果。 對比法 對比法就是用兩組或兩組以上的數據進行比較，常見的是用於在時間維度上的同比和環比、定基比，與競爭對手的對比、類別之間的對比、特徵和屬性對比等。對比法可以發現數據變化規律，使用非常頻繁，多與前面的技巧結合使用。 漏鬥法 漏鬥法即是漏斗圖，有點像倒金字塔，是一個流程化思考方式，常用於像新用戶的開發、購物轉化率這些有變化和一定流程的分析中。不過，單一的漏斗分析是沒有用的，不能得出什麼結果，要與其它相結合，如與歷史數據的對比等。 下圖我用帆軟BI商業智慧工具連接了CRM系統的數據，對客戶的行為數據做了漏斗圖形式的展現。
在企業經營數據分析中，財務數據是不可或缺的組成部分。一般提到公司報表，其實就是在說財務報表，可見財務報表對於企業的重要性。一套完整的財務報表包括資產負債表、利潤表、現金流量表、所有者權益變動表(或股東權益變動表)和財務報表附註。財務數據分析中通常以資產負債表、利潤表、現金流量表三張表為最基本也是最重要的數據表，稱為三大財務報表。 今天主要跟大家分享自己在企業財務數據相關常用的數據分析經驗和方法，歡迎大家共同交流學習進步。 申明：本篇文章來自財務報表&分析知識園地。文中經驗為用帆軟FineReport報表軟體實施項目歸納所得。FineReport提供各種財務報表內建模板，有需要的話可以免費下載使用。 對於財務報表製作感興趣的朋友，可以移步到：財務報表真不難！一張範本直接複用，碾壓上千Excel表 一、基礎財務資料表 財務資料中通常以資產負債表、利潤表、現金流量表三張表為最基本也是最重要的資料表，因此我們先來初步看看資產負債表、利潤表、現金流量表這三張基本財務資料表的業務含義，以及之間存在的業務關聯關係。 1.資產負債表 是顯示一家公司在過去特定的時間(每季的最後幾天、或每半年的最後幾天、或每年的最後幾天)，所擁有的資產及負債的狀況。(當下時間點的觀念，是定量) 從資產負債表可以瞭解一家公司的：財務體質是強還是弱？公司真正擁有哪些資產(也就是資金運用到哪兒) ？公司如何取得擁有的(公司資資金從哪裡來的)？ 透過損益表及資產負債表，就能看出一家公司經營狀況：瞭解公司是不是重燒錢的行業？做生意週期需要多長？收款正不正常等等 從資產負債表中最重要的是要分析出：這家公司是不是保有足夠的現金能應對景氣波動？這家公司的資金來源是否健康？公司資產配置是否能夠因應市場變化？ 所以資產負債表最重要的八個字【現金為王財務結構】 2.利潤表 顯示上市公司過去一段經營期間(月、季、半年、年)的營運狀況，是賺錢還是虧錢(是流量的觀念，是按照發生時間不間斷的記錄下來，最後產生的報表)。 利潤表裡最重要的科目分成三大類 1.收入：收入通常分為兩種(B2B/B2C)。B2C的收入= 客戶總數 X 購物金額 X 購物次數，B2B的收入= 項目數 X 項目金額 X 項目成功概率 2.成本：與收入直接相關的營運費用分成: 料、工、費 3.費用：與收入不直接相關營運費：銷(行銷費用)、管(管理費用)、財(財務費用) 從利潤表可以瞭解一家公司的獲利模式： 高毛利還是低毛利? 做生意的成本需求高不高? 賺錢邏輯又是如何? 在經營過程中，費用會不會太高? 這家公司有沒有專注本業? 是否維持穩定持續的需求? 利潤表也有最重要的八個字【長期穩定 獲利能力】 3.現金流量表 現金流量表主要包含企業經營在一段時間內生產經營、投資以及籌資活動中產生的現金流情況，通常用於反映企業的利潤水準和企業健康情況，類似于某段時間內用攝影機給企業拍攝的一段現金流量周轉視頻。 主要記錄了這一段時間內損益表現金的流量狀況(營運活動現金流量)、資產負債表中資產現金的流量狀況(投資活動現金流量)、負債及股東權益現金的流量狀況(籌資/理財活動現金流量) 從現金流量表中最重要的是要分析出八個字：這家公司是不是獲利？是不是真的變成了現金回到公司？還是扎扎實實虧錢出去了？(營業活動現金流量) 這家公司是不是每年都有持續投資本業？還是業外投資賺錢了？ 賣祖產了？還是做了很多非本業的投資？本業的投資金額與獲利相比是不是合理？會不會過度投資？(投資活動現金流量)這家公司是不是每年都有分紅給股東？是不是有向銀行或股東借錢？ 而現金流量表最重要的八個字就是【真假立判 生死存亡】 業務關聯關係 其中現金流量表中企業在進行經營、投資以及籌資活動中產生的企業資產現金流量周轉，會影響到企業資產負債表中的總資產現金，同時也會在利潤表中有所體現；利潤表中的企業經營盈利情況，會影響到資產負債表中的企業股東的所有者權益。 我們在理解清楚了財務數據的基本邏輯關係之後就需要學習和掌握一些常用的財務數據分析方法了，否則即使對基本財務邏輯原理倒背如流，也很難通過財務數據的分析從而對企業的經營決策有所引導，下面給大家介紹同型分析、趨勢分析、比較分析這三種常用的數據分析方法。 二、同型分析 首先來看看我們財務數據分析最常用的同型分析法，所謂同型分析其實本質上是一種結構分析方法。例如對於資產負債表，我們通常可以通過同型分析詳細列明企業各項資金佔據總資產的比重，分析企業的資產負債組成結構。另外對於財務數據中的利潤表，我們同樣也可以通過同型分析法觀察各個項目在利潤表中的結構佔比，以及收入到利潤的過程中每一個步驟所產生的損耗等。 這邊我們來看一個對資產負債表做數據同型分析的實例： 我們透過帆軟數據分析軟體的匯總表格，對資產負債表做數據同型分析，自動計算出每一項資產在總資產中的佔比。從上圖可以快速看出，企業的固定資產為59.67%，無形資產為1.57%，流動資產中存貨、貨幣資金、應收賬款、預付賬款分別為5.19%、18.44%、13.56%、1.57%，也就是企業流動資產僅佔據企業資產的38.76%，固定資產接近60%。這家企業固定資產如此之大，初步估計應該是一家傳統製造型的企業。 另外我們來單獨看這家企業流動資產中的應收賬款，竟然佔據了企業總資產的13.56，這比例對於總資產來說已經是一個不小的數值了，說明這家企業的產品沒那麼好賣，也許正面臨著較大的市場競爭，因為很多製造型企業往往和採購方簽約有可能採取延後收款時間來獲得更大的市場競爭能力。 […]
現代企業競爭的基礎是人才的競爭，搞好人力資源管理是推動企業不斷發展贏得競爭的重要因素，在企業中的重要性日益凸顯。而大數據時代的到來，讓人力資源管理飛躍到一個新的階段，在提高效率、效果方面呈現出前所未有的機會。今天筆者結合企業實踐和大家介紹如何做人力資源的數據化管理，一步一步從基礎指標到企業戰略層面。 筆者比較熟悉電力企業，在這個行業中超過96%的企業都部署了人力資源管理系統，曾為人力資源管理工作帶來很大的改善，但是隨著系統的不斷更迭，用於數據分析與展示的報表需要重複開發，再加上人力資源數據應用的需求越來越多、越來越精細化，而系統內開發報表的效率低、周期長、成本高，就造成很多人力資源的數據需求難以滿足。 這個時候，很多企業開始尋求： 有什麼方法既能保證人力資源系統的穩定高效運行，又能快速根據需求進行報表製作和開發，發揮數據的價值呢？ 答案是搭建獨立的數據決策平台。它能夠有效減少業務系統的更迭對報表專案的影響，滿足企業安全穩定的需要，同時還解決人力資源管理中其他的困境。 1、數據共享。 電力企業大大小小的資訊系統數目眾多，由於缺乏統一的數據決策平台，各系統之間缺乏聯繫，資料不同共享，業務不能協同開展，對企業治理決策的作用十分有限。除個別公司外，筆者接觸到的大部分企業人力資源管理系統都未與財務、供應鏈等業務平台進行有效集成。日常業務依舊存在大量的紙質單據流轉，多系統頻繁切換登入使用，效率低下，系統數據無法共享、無法提供決策和分析依據。 2、安全獨立統一。 由於電力的安全性和特殊性，電力數據決策平台的規劃，必須要重點注意安全性、獨立性、統一性三個核心要素。 1)安全性：電力系統由於其在國民經濟中的特殊性，安全永遠是第一位，平台訪問權限的安全（防止一個賬號被多個人登入，被系統外人員盜號竊取數據），系統數據權限的安全（確保不同層級的單位，看到相應層級的數據，各單位擁有不同的數據權限），報表配置權限的安全（不同業務人員只看到自己部門相關的報表）。 2)獨立性：決策平台獨立於業務系統外，不受業務系統轄制。業務系統與決策平台剝離開，業務系統更換變動，不需要再重新搭建報表系統，減少業務系統變化對報表重構的影響，可移植性強。 通過建設獨立、集成、可推廣的數據決策平台，來徹底解決新專案資訊化報表從頭開始、重複建設的問題。 3)統一性：將所有的報表搭建在一個平台內，統一訪問入口，統一各種維度的報表。訪問入口唯一，不需頻繁切換進入各種系統去查看相應報表，減少使用人員的平台使用學習負擔，提升工作效率。 以上這些大部分是所有企業共同的需求，在實際專案過程中，不同行業企業可能還有特殊需求。 明確了搭建數據平台的需求，那麼如何著手進行呢？ 1、企業數據中心。 電力企業資訊化進程較早，大多數企業很早就已經構建了自己的數據倉庫，擁有較好的底層基礎，但是相應的，電力企業的底層搭建理念、技術也大多較為陳舊，隨著大數據應用時代的迅猛到來，電力企業若要在不遠的將來依舊保持企業的競爭力，就需要及時以最新的數據處理技術、以最新的Data Vault2.0理念來重新搭建自己的底層，構建企業數據中心。 2、數據決策平台。 構建好企業數據中心後，決策平台的搭建，應以人力資源管理為基礎進行規劃。企業管理主要是人力資源管理，同時企業需要騰出更多的時間和精力進行戰略層次的思考，而人力資源的數據分析能夠為企業管理者提供強有力的決策支撐，輔助企業做出正確的決策，因此在企業穩定、有效的數據決策平台顯得尤為重要。數據決策平台人力資源管理模塊的具體建設整體劃分為三個層級。 1)資本能力分析當前大多數企業的人力資源數據分析也基本處於在這一階段，支援每天業務運作的操作型報表，實時查詢的報表。主要包括與人力資本能力相關的人力資源數量、學歷、結構、流動性、年齡、職稱等方面的指標。定製化模板的靈活開發，業務處理過程中，自動讀取系統業務數據，生成並列印固定格式的表單；標準報表的繪製，實現對各類歷史數據的查詢；基本數據的補錄，通過填報模板的製作，對業務系統中缺失的數據進行補錄；全面管理人員資料，降低事務性工作量，有效的提高工作效率和準確性。 2)運作能力分析在對數據粗加工的基礎上，統計更為複雜的指標，主要包括人力資源基本運作流程：人力資源規劃——招聘配置——培訓開發——考核評價——薪酬——勞動關係等，反映各個環節運作能力的基本指標，用來分析和反映人力資源管理的水平，診斷企業管理的健康程度。這個階段開始對數據進行精加工，研究和提煉管理指標，進行更為全面深入的數據分。 3)效率分析人力資源管理所要達到的基本效率指標，也是人力資源戰略實施的效果反映。這個階段將人力資源效能與公司發展戰略結合起來，形成人力資源發展戰略，進入戰略管理階段。這個層次需要統計更為複雜的統計指標和分析技術，重點研究人力資本在企業中發揮的作用，根據需要建立管理分析模型，深入分析人力資本的投入和回報，建立綜合性分析的報表，以管理者戰情室的構建為核心。 針對企業複雜的資訊化現狀，通過獨立統一的決策平台的搭建，可有效整合多個系統的數據，有效提高業務流轉效率、減少不必要的工作量。通過對相關數據進行智慧分析，能更好的服務於業務決策，有效加強業務績效的可視性，為各級管理決策者及時獲得所需關鍵訊息。著眼於未來，企業通過將大數據與企業發展戰略緊密的結合起來，推進從傳統粗放式運營模式到服務細節的全面創新進程，能夠有效幫助企業實現遠大的發展目標。
文 | 帆軟報表高級工程師 Sigurd 最近常常會遇到人來諮詢Tableau和FineReport的區別。 我剛說了句「兩者是不同的產品」就被堵回去「怎麼是不同產品呢？我們公司最近正在比較兩者，準備選擇一款導入呢！」 其實我話還沒說完。 兩者是不同的產品，tableau是一款olap產品，finereport是一款oltp產品，都是數據處理分析軟體，但面向的人群、市場的側重點各有不同。最關鍵還是要看企業的需求。下面我就盡量以簡單易懂的語言把這個事情講清楚。 總的來說，Tableau是自助餐，FineReport是套餐。 這裡涉及三個角色：食客、廚師、餐品： 業務人員、主管老闆是食客，是數據分析最終的使用者； IT人員是廚師，對數據食材進行處理加工； 報表是餐品，最終的分析結果。 吃自助餐的好處是靈活性高，廚師對食材進行初步的處理，食客根據自己的想法隨時隨地搭配出想要的餐品，但是搭配出來的是精緻美味的大餐還是望而生畏的黑暗料理，就需要看食客自身的能力啦。所以，如果你的企業有熟悉分析手法的專業分析師及樞紐分析需求的業務、主管人員，他們可以自己滿足自己的數據分析需求，那麼tableau這一類的自助式BI軟體非常適合。 吃套餐的好處是食客省心省力、常吃的餐品能確保質量。食客和廚師溝通，哪些菜品是我每次必吃的，做法要求是怎樣，廚師會直接做好。有新增需求的話就需要再和廚師溝通，沒法像自助餐那樣立即實現，需要等廚師做出來。廚師能不能一次性做到符合你的所有要求，需要良好的溝通。 不知道這個比喻能不能讓大家更好的理解： Tableau適合熟悉分析手法的專業分析師以及有樞紐分析需求的業務主管人員。FineReport是IT人員主導設計，業務主管人員參與和使用。因為有著這種面向人群定位的差異，導致在很多功能的處理上存在不同。下面我們分別來介紹。 1、數據整合 免費試用FineReport10.0> Tableau和FineReport都是數據處理軟體，整合來自不同資料庫的資料，包括SQLserver、mysql、oracle、db2等主流資料庫，microsoft excel、txt、xml等文件資料源。但整合的方式不一樣。 Tableau主要以表關聯方式跨數據來源整合於單一分析檔案中。 FineReport透過彈性的SQL語法及動態參數注入整合各種數據來源於報表中呈現。 2、表格呈現樣式 免費試用FineReport10.0> Tableau作為前端分析工具，由於應用框架的限制，僅提供清單列表、交叉表、樞紐分析三大類型，表格配置彈性較小。實際的企業應用中，會碰到非常複雜的需求，比如儲存格前後左右列高、欄寬不一致的不規則報表，複雜的分組匯總表和交叉表。這類是Tableau的弱項，是FineReport的強項。 FineReport支援EXCEL式的儲存格設計，可彈性配置各種EXCEL的表格樣式，對各種各樣的格式的複雜報表處理非常專業。 3、圖表類型 免費試用FineReport10.0> 圖表方面兩者各有千秋。 Tableau十足豐富的視覺化圖表，貼近一般使用者的UI、UX設計，配置簡易拖拉完成。 FineReport也有著豐富的資料視覺化圖表，同時提供API介面及條件屬性設定，變幻風格自由。 4、DASHBOARD呈現 免費試用FineReport10.0> Tableau配置操作十分容易，輕鬆製作正規DASHBOARD面板，這是Tableau的優勢。但還是老問題，和上面提到的表格配置一樣，一些特殊風格的戰情中心面板的支援不夠。 FineReport則適合開發個性化的DASHBOARD，配置版面及風格可任意自定。 5、統計分析模型 免費試用FineReport10.0> 作為一款前端的數據分析軟體，統計分析是Tableau的強項。Tableau支援的模型非常豐富，提供相對專業的財務統計分析函數，也支援R語言。 FineReport在這方面確有不足，需要透過SQL、STORE PROCEDURE、JAVA及 EXCEL函數搭配運用。 6、資料回寫表單 免費試用FineReport10.0> 企業在日常經營中，除了對數據進行統計展現，也經常會有需要往資料庫錄入數據，有的是新增數據，有的是對老數據進行修改回填，有的是刪除數據，也有些企業用戶是透過excel將數據匯入資料庫的。比如倉庫物料掃碼入庫，門市店長每天錄入店鋪巡查狀況，銀行業務員實時錄入客戶資料等場景。 Tableau將數據從數據源中取出進行統計分析，但暫時不支援資料回填表單，無法幫助用戶進行數據的增刪改。 FineReport可設計WEB、APP回寫表單，寫入關聯式資料庫-MySQL 、Oracle 、SQL Server。並且提供校驗、保存、提交、審核、駁回、發布等完整的流程處理。也可將Excel資料上傳入資料庫。 7、企業平台工作 免費試用FineReport10.0> Tableau搭建的企業數據平台具有定時派發，線上分析報表，dashboard、權限控管等基本功能，整個平台較適合分析人員使用。 FineReport企業數據平台支援定時派發、線上分析報表、dashboard、權限控管、AD整合、各類型報表列印，功能更加完善。較適合公司全體各層級部門人員應用，小至薪資條標籤紙、大至決策dashboard。 8、多維分析 […]
現在流行手機上看報表： 比如打開手機就能看到今天的銷售數據； 比如能微信、郵件、Line一鍵發送報表到老板的手機； 抑或是在門店巡邏時，實時查看某商品的庫存和銷量數據； 當然，也可以是一線運輸人員拿起手機掃QRCODE就能將貨運數據上傳入資料庫； 可見，手機作為管理者的數據分析管理陣地，發揮了愈發重要的作用。 然而手機雖然便捷，奈何螢幕終究不夠大，數據在手機上的呈現變成了新的研究課題，你是不是有這樣的困惑： 在PC上進行手機報表製作，總覺得差距有點大？ 如何在有限的螢幕內把數據展現地更有層次？ 厭倦了流式布局？想要讓數據擁有更多交互？ C端的APP越做越好看，老闆的審美需求被無限放大？ 帆軟FineReport行動端報表，為手機儀表板帶來了更多可能性，下面我們通過X個小技巧，為你排憂解難！ 01 設定手機畫布，讓設計器與最終結果更接近 在PC設計器中設計手機模板，由於螢幕尺寸的較大差異，我們可能會對元件布局、元件大小的設存在很多的問題。 利用手機畫布的新功能，在進行手機報表製作之前時，將畫布切換為適應手機尺寸，讓模板內容在設計器上的樣式與手機上的最終效果更為接近，減少不必要的調整。 決策報表 普通報表 C端主流APP的流布局設計同樣適用於B端的數據展現，雙指在螢幕上滑動的過程中獲取自己想關注的數據內容。 02 整體流式布局 在整體布局的設計中，建議採用：先匯總再細分的原則 將不同時間粒度下的匯總數據優先呈現出來，讓管理者一眼就能看到指標當前的進展與狀態，做到心中有數以後在向下拆解 數據細分過程中需要，按照一定的分析邏輯，比如說：整體走勢、趨勢分析=》分類佔比分析=》分類明細數據 報表設計器中不同元件的排列方式 實際demo報表示例 03 多維度切換，豐富元件交互，擴展模板內容 由於手機螢幕尺寸有限，如果一張模板只單純的使用流式布局，想要新增內容就會讓模板的高度越來越高，管理者在閱讀這樣的模板時就需要耗費大量的下滑動作。 我們可以針對整個模板或者在某一個元件上增加一下交互動作，讓數據更加立體化。 3.1 tab元件 將不同維度數據的內容填充至不同的tab頁內部，即可在一張模板內部預覽不同維度的數據 並且當一個決策報表內只有一個tab容器時，tab元件的標題會固定與報表頂部，從而在預覽某一tab頁內容時可以隨時切換其他tab頁。 3.2 動態參數與元件聯動 當一張模板樣式固定時，可以通過這兩種方式實現對不同數據的過濾，可以簡化用戶的操作交互動作，同時也省去了製作多張模板的時間。 比如下圖1，可以通過不同時間粒度參數的切換，動態顯示不同時間維度的企業運營數據，不需要通過年>月>日層層鑽取的方式來實現。 比如圖2，可以通過不同指標類型參數的切換，動態顯示不同指標的走勢、分部趨勢等資料，不需要在通過兩張模板來實現。 這兩種方式的唯一區別在於：動態參數是對整張模板數據的重新整理，而元件聯動可以自由配置需要重新整理數據的元件。 3.3 圖表輪播 一個數據指標如果需要通過多個圖表來進行資料視覺化展現，往往我們會選擇流式布局，將多個圖表自上至下一一排列開來，但是如果我們需要關聯多張圖表進行分析，這樣的組合方式由於螢幕大小的限制，無法在一屏內展示，不符合用戶的交互習慣。這種情況下，我們可以選擇用圖表輪播的方式來實現，並且多個圖表的交互不僅可以選擇輪播的方式，也可以設定為手動切換。 04 細節優化 4.1 元件標題 FineReport報表BI系統軟體的行動端有三種設定元件標題的方式，不同的設定方式也有不同的效果與優勢 4.1.1 元件>樣式>標題 推薦指數：★★★★★ 優勢：設定簡單快捷，便于格式統一 劣勢：由於樣式固化，個性化空間有限 4.1.2 報表塊標題 […]
隨著企業的逐步發展，人員的增加、業態的複雜不僅對管理也對數位化的要求越來越高，甚至需要從戰略角度出發，進行從上至下的全面推行。 關於這個話題，某公司深有體會。面對這樣的瓶頸，一方面從優化IT架構、調整IT管理模式、重視工具選型來提升數位化水平；另一方面，利用BI建設管理儀表板，將管理要素「數據化」，協助企業戰略管理。 數位化背景： 該公司的數位化依託於SAP，由協同管理平台將其包圍，最外端採用行動應用數位化方案，最後通過商業智慧BI系統呈現。 依據這樣的數位化建設理念，公司通過協同平台將員工門戶、供應商門戶、客戶門戶、BI系統管理門戶、行動門戶整合在一起，實現全管理。並且圍繞業務搭建了O2O平台，行銷管理平台、終端系統和行動平台，涵蓋了行政、人事、行銷、研發、報戶、採購、財務以及知識、文化等等。 數位化建設規劃 從架構來看，大多數管理和業務都集中在協同管理平台，數位化的能力基本處於中等狀態，而戰略規劃幾乎空白。所以，基於目前的現狀，通過不斷的諮詢和調研，未來將圍繞文化、品牌、人才、資本、行銷、技術、運營這幾個主要目標，通過數位化、數據化的手段總體目標來落地，協助戰略支撐體系升級的落地工作，並確立了以下4點數位化建設指導原則。 IT體系架構： 系統統一的體系架構和集中式部署方式 基於統一的架構體系，保證各每畝的互通互聯，減少數據孤島 採用集中式的部署方式，便於IT系統和基礎設施的運營維護和管理 IT管理模式： 採用集中式的IT管理模式方式 組建統一的IT管理模式和服務機構，負責三棵樹IT資源的規劃和管理 集中式的管理模式，能夠使數位化建設始終貫穿統一的規劃、思路和步驟 IT選型： 以成熟應用套件加少量定製開發 在系統選型中，選擇採用滿足核心需求的有成功行業應用案例的主流成熟應用套件 對於特殊需求，基於成熟套件進行少量定製開發 IT實施原則： 統一規劃、分步實施的建設策略 制定統一的數位化規劃，確保各建設階段架構的一致性和方向的正確性 配合集團各階段的發展和管理重點快速發揮數位化建設的綜合效益 通過這四個原則指導集團信息化的整個構建，包括IT的體系架構，IT的管理模式，統一規劃和分布實施以及案例的轉型原則等等。 BI系統建設過程 意識到一個協同平台無法保障現在每年快速發展的業務，所以此後集團又構建了新套件，新平台，來構建更多的資料和業務。這些業務更多地是偏向行動型消費者型的系統，最後通過BI決策儀表板展現。 建立經營指標 指標庫的建立參考了市面上一些經典的指標，通過內部的一個價值鏈的體系梳理、整合，然後根據公司的發展目標來合并。建立每個指標的標準化基本屬性及維度屬性，以確保公司、中心及部門的指標一致性。 最終生成了以下的指標體系，生成主題報表，最後在價值商平台做展現。 在梳理這些維度的過程中，逐步確立整個價值商或者檢測平台需要包含哪些功能。比如上面是戰略監測，下面經營監控。公司首先會放出戰略地圖，彙集到中心，彙集到部門，然後根據這些戰略地圖得出經營指標，最後指標變成行動方案。 任何一個公司都處於行業的大環境中，所以需要對行業的宏觀環境進行市場監控。 數據展示的結果會落實到數據分析結果和決策中。老闆通過查看折價報表或是其他的圖表數據，將問題反饋，提出具體改進措施以及總裁批示，然後將具體行動方案通過協同平台生成任務單落實到每個人，任務的完成由統一的項目部或者是總裁辦來跟進執行。 考慮到大多數管理者都忙於在外，決策不能及時到位，集團又利用FineReport報表軟體將報表數據做了統一的行動端嵌入，集成到微信、釘釘等行動平台，隨時隨地查看分析數據。
很久之前，你我都曾經做過物理題。記得那時老師經常嘮叨，「先認真審題，理解題意，然後再想方法，最後再落筆去做」；「審題啊！審題啊！說過幾遍怎麼就是不聽，尋思鷹呢？」 理解當年老師的良苦用心，歷經磨難，你我也都順利結束了學業，不必再審題、不必再做題、不必再考試。然而，人生不如意十之八九，你我又再次走上了數據分析的道路。 轉換為現在的視角。我們做數據分析的目的，是為了解決問題，換個詞，是為了有用啊。那麼你做的分析，有用嗎，怎樣做的分析才有用呢？ 直接將分析結果利用，轉換為價值的，是業務。或許按照這樣的路線來做分析，更有用。 先審題（理解業務，做為方向） 思考方法（分析思路，設計分析方案） 下筆（選擇分析技術，開始分析）。 可見，套路是和我們當年做題一樣的吧，可是，當年的物理題也做過了不少，多苦多累我們都熬過去了，為什麼到了數據分析這裡，還是很多問題呢？私以為，做題是一個人的事，而現在做分析，變成了一個組織的事，銜接出了問題。 做數據分析可能出現的失敗場景： 分析結果就是錯的 分析結果是對的，然而並沒有什麼卵用，結果產生不了價值 根據分析結果，可以給出建議方向，但是很空洞，無法落地 分析結果對、建議方向也對、也有落地的方案，但是業務就是不執行 第一種場景比較少見、而後面的幾種場景卻是做數據分析的經常會碰到。舉個栗子。 場景a： 公司在6月18號跟著天貓一起搞了個618大促，結束後業務找到老王，說：「老王啊，我們活動做完了，給我做個數據分析，讓我看看活動效果怎麼樣？」 老王接到任務開始收集數據、處理數據、做模型、畫報表。最終出來結論：「我們本次活動期間，環比上周末uv增長了150%，綜合轉化率提高了27%，訂單量增長了110%，銷售額增長了85%。其中台北市訂單佔比最高，達到了27%。。。。」 業務：「你要說明什麼，是想告訴我活動真好，明年還搞618大促嗎？」 此時，老王只能期待他一臉懵逼的表情來萌翻業務了。 場景b： 業務：「老王，感覺公司的綜合轉化率有點低，你給我做個分析，看看是什麼問題」 向來以行動力強，技術水平高的老王，結合大量的訪問數據、用戶數據、訂單數據，採用聚類分析演算法、主成分分析、相關行分析等挖掘手段。成功的發現，年齡段在40歲以上的男性群體，綜合轉化率超高，平均達到47%，所以建議業務，制定拉新策略，提高這一用戶群體的訪問量。整體的轉化率就可以上來了。 業務：「但是這群人，平時很少上網啊」。 老王再次懵逼。 場景c： 老王：「我做了一個用戶流失預警模型，發現有a類行為特徵用戶在註冊後30天左右流失概率最大，有b類行為特徵的用戶在40天左右流失概率最大，有c類行為特徵的用戶在50天左右流失概率最大，那麼我們只需要做一個精準的關懷，針對不同行為特徵的用戶，在不同的時間點，推送廣告、或者發放優惠券，就能夠有效的降低流失率」。 業務：「老王，你說的很對，但是我們公司小，實現這樣的精準投放成本太高了，我們現在每天忙成狗，核心的內容體驗還沒做好，你的建議後面再考慮吧，辛苦了。。。」 老王他已經很努力了，但是分析結果確不盡如人意。 我們常常見到數據分析師抱怨：我的工作不夠重視，他們要數據的時候就讓我提取一下，最多做個簡單的加工；業務做決策都不看數據，全憑經驗來；業務開會，討論方案從來不叫上我，不參考我們的意見。 同時，也能聽到業務方的抱怨：數據部門提供的結果，都不是我想要的；數據部門太天真，提供的方案太多漏洞；數據部門的人都不懂業務，拿著點數據就能來指導我們嗎？ 我想，這裡就是業務與分析之間的銜接出了問題。業務不相信數據，當一個分析結果與他的設想不同時，首先就是懷疑數據，他所做的數據分析，僅僅是為了驗證自己的觀點。 數據分析師和業務人員邁出一小步，是公司的一大步 見過數據分析做的比較好的公司，一個是BI系統經理是產品經理出身，懂業務、懂產品、懂運營，所以他帶隊做的分析專案自然貼合業務需求。還有一個是，公司將數據化運營提升到了很高的高度，培養公司業務具有數據意識，了解數據分析的思路，認同數據分析的價值，知道如何利用分析結果。 可以是數據分析師向業務多走一步，也可以是業務人員向數據多走一步，使得兩方面有一定的重疊，做好這個銜接，數據分析可能就會更有用。嗯，你們邁出的這一小步，就是你們公司的一大步。 一方面，培養全公司業務的數據意識，是需要時間並且有難度的。另一方面，作為一個數據分析師，也應該更多的了解業務，這樣才能把「業務的需求」轉化為數據需求，再進一步把分析結果轉化為有意義、可落地、可產生價值的方案。同時也能反過來完善自己的知識體系，提升自身的業務理解能力和數據分析能力。 問題來了，怎樣去了解業務呢，只能說，世上無捷徑，除非你改行。能想到的方法，就是交流交流再交流，當業務需要分析一個活動效果的時候，多問一句，你關心哪些指標？哪些參數會影響一個活動的成效？當業務要分析轉化率的時候，多問一句，影響轉化率的因素有哪些，有哪些方法可以提高轉化率。都是一個公司的，沒事請業務吃頓飯，沒有什麼是一頓飯解決不了的，如果有，那就兩頓，吃著吃著，不僅你懂了業務，業務也懂你了。 交流，聽起來很簡單，做起來是最難的，尤其大部分數據分析師都是數學、統計學、計算機等這種理工科出身。會有人期待一個更簡單的方法。例如：數據部門只做技術，分析全都交給業務部門如何，我們買BI系統工具，讓業務實現自主分析。你說用bi系統來節省工作量降低時間成本我信，你給bi這麼艱巨的任務，且不說bi工具的分析能力有限，無法實現深度分析和挖掘，業務部門的數據意識上去了嗎？沒有統籌，各個業務部門的分析結果相互衝突怎麼辦呢？業務部門的分析結果不客觀，對於公司來說，是最好的嗎？ 所以，對於一整個數據分析體系而言，工具和技術只是輔助，業務和思路才是核心和重點。 談到技術，再進入到第二個銜接點。 網際網路公司一直處於技術的前沿，技術可能都不是問題（如果跟一個網際網路公司說你技術不行，就希望他們公司程序員加班太多打人的力氣都變小了吧），更多的可能是對技術的選擇。 私以為網際網路行業的數據分析需求可以大體上分為三類： 業務常規需求，主要是輔助業務日常工作用 指標監控與數據呈現類，為管理和決策提供支持，也為後面的針對性的挖掘分析提供入口 有主題有針對性的挖掘分析，為運營、產品的改善提供數據依據，具有一定的驅動價值 對於第1類和第2類需求，有用開源報表的、有用商用報表的、有用bi軟體的、有寫echart的也有用excel的。對於第三類需求，有用sas的、spss、python的、r的甚至有用c++的。 要說哪一類技術或工具才是最好的呢，我相信沒有，如何選擇，更多的是要結合業務場景，有時是多種工具同時使用，才是最佳的。如何才能做好這一點，我想就是要有清晰的分析思路，和熟練的分析技能（對各種工具的了解）。也就是打通第二個銜接點。 對於很多分析師來說，這一點要比第一個銜接點容易的多。但是我再多說一點的是，分析手段的選擇，不僅要考慮分析實現的可行性，也要考慮分析成本，主要的就是時間成本。R語言現在大量應用於網際網路公司，我想也是因為它提供大量的統計函數和演算法，降低了數據分析成本的原因，當然，少不了它開源的巨大優勢。 同樣，對於第1類和第2類需求，選擇實現方案，也要考慮成本。相比較來說，這兩類需求的實現難度更低，相信對於任何公司來說，也都是並非核心技術。有堅持用excel的，也有堅持碼程式碼的。當然，具體怎樣選擇也要結合業務場景，但是綜合起來看，如果有方法一天就實現，就盡量不要花兩天時間去開發。例如一個好的報表工具例如finereport，相比於開源report或者echart來說，還是節約一定的時間成本的，省下的程序員，還能打掃打掃衛生啊,哈哈。 以上是我對網際網路行業中數據分析業務的一些淺薄的看法，如有不當的地方，歡迎批評指正和交流。 原創文章，轉載請私信作者 作者：帆軟網際網路行業高級顧問 王佳東
1、大數據平台 目前很火，數據源頭，各種炫酷新技術，搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java開發的。 目前很多企業都把數據採集下來了，對於傳統的業務數據，用傳統的數據是完全夠用的，可是對於用戶行為和點擊行為這些數據或者很多非結構化的數據，文本、圖像和文本類的，由於數據量太大，很多公司都不知道怎麼進行储存。 這裡面要解決的是實時、近實時和離線的大數據框架如何搭建，各數據流之間如何耦合和解耦，如何進行容災、平台穩定、可用是需要重點考慮的。 我的感覺是：最近兩三年中，這塊人才還是很稀缺的，因為大數據應用概念炒作的這麼厲害，很多企業都被忽悠說，我們也來開始進入大數據行業吧。進入的前提之一就是需要把數據儲存下來，特別是很多用戶行為方面的數據，對於業務的提升比較明顯的，如果你能很好的刻畫用戶，那麼對你的產品設計、市場行銷、開發市場都是有幫助的。現階段，很多公司都要做第一步：儲存更多的數據。這也是這塊人員流動性比較高的原因，都被高薪挖走了。 和傳統的SQL不同的是，針對巨量的非結構式數據，我們所想的就是：用最廉價的成本儲存數據同時能夠達到容災、擴展性高、高性能、跨域，從目前來看，分布式已經被證明是個很好的一個方式。 另外，雲端會是個很好的方向，不是每個公司都養得起這麼多這麼貴的大數據應用平台開發人員和運維人員OPS，從事這個行業的我們要有很好的危機意識，及時貢獻出自己的價值，積極主動的學習新技術、否則就可能被淘汰了。 此外，花點錢把數據託管給雲服務提供商是對於創業公司或者一些傳統的企業來說是個很好的思路，這樣能夠最快速的確定數據對你的價值是什麼，而不用採購這麼多的伺服器、僱傭這麼多的運維人員和網站開發人員。 說了以上這些，主要是想給未來會從事這塊的人或者想儲存數據的公司一點方向。我自己不做這塊，體會不深，大家看看就行。 這塊工作最被吐槽的一點就是：Hive速度好慢，SQL查詢好慢，集群怎麼又掛掉了，hadoop版本升級後，怎麼數據跑出來不對了等等。 因此，在這個領域內工作，需要有強大的攻堅能力，並且還需要有快速定位和解決bug的能力，因為有很多工具都是開源的。因為是開源的，所以你們懂得，各種踩雷，甚至出現無法向下兼容的情況，所以需要強大的Java開發能力。 如果想在這塊做的很好，還需要有整個系統架構的設計能力、比較的強的抗壓能力和解決問題的能力、資源收集的能力，可以打入開源社區，這樣就可以隨時follow最新的潮流和技術。 2、數據倉庫-ETL 確實做倉庫的人很辛苦，單單Oncall就會讓人望而卻步。有很多資料庫工程師，晚上睡覺的時候經常被Oncall電話吵醒，因為數據流程出問題，需要第一時間去排查，是哪個數據源出問題，並且要立即解決，否則整個數據流程都會受到影響。 如果數據流程受到了影響，你就可能會被大老闆一言不合叫到辦公室說：我要的數據怎麼還沒有準備好，我的業務報表今天怎麼沒有發出來。 透過上面這個情景，我們可以知道：這是個很重要的崗位，因為數據流程很重要，決定了數據從源頭雜亂無章的狀況，透過ETL之後變成了整齊的數據，這些整齊一致性的數據可以讓你很方便地把各業務的統計結果計算出來，並且能夠統一口徑。要不然就會變成有幾個部門，就有幾種統計結果，到時候A部門說業務增長了5%，B部門說業務漲了10%，OMG，到底信誰。 至少在以下幾點上，我覺得數據倉庫人員應該要做好： a、數據字典的完整性，用的人都希望能夠清晰的知道這個欄位的邏輯是什麼。欄位要保持很好的一致性，不要同樣一個欄位在不同表裡有不同的定義。 b、核心流程的穩定性，不要讓每天訂單主表能夠使用的時間很不穩定，有的時候很早，有的時候要中午才出來，如果不穩定就會導致使用數據的人對你很沒有信心。 c、倉庫版本迭代不要過於頻繁，要保持不同版本之間的兼容性。不要做好了倉庫1.0，很快就把原來的推倒重來，變成了2.0。在數據倉庫中需要考慮到延續性，主表的變動不要太頻繁，否則使用的人會非常痛苦，好不容易才用習慣了1.0的表結構，沒辦法這麼快進行切換。簡單地說，要能向下兼容。 d、保持各業務邏輯的統一性，不要出現同樣的業務邏輯，同一個組別的人統計出來的結果不同。原因在於共同的邏輯沒有落地成通用的東西，所以導致每個人寫法不同。這點其實需要特別注意。 針對以上，這個崗位的技能要求是：不要成為僅僅會寫SQL的人，現在工具都很發達，如果你的技能很單一的話，那麼可替代指數是非常高的，並且你自身也沒有什麼成就感。這裡並不是說會寫SQL的人很low，只是說應該多學一些技能，否則會很危險。 倉庫人員應該要常常思考，如何進行架構設計是最合理的，你要考慮是否需要欄位冗餘、列存儲還是欄存儲、欄位如何擴展最有效，熱數據和冷數據如何拆分等，所以需要有架構思維。 技能上，除了SQL熟練之外，還需要知道如何寫Transform，MapReduce，因為有很多業務邏輯用SQL實現起來非常複雜，但是如果你會其他腳本語言，那麼就能給你提供便利，讓你的效率提升很多。另外好的倉庫人員需要寫Java或者Scala，通過寫UDTF或者UDAF來提升你的效率是很有必要的。 數據倉庫人員也應該常常考慮自動化和工具化方面的事情，需要很好的工具或者模塊的抽象能力，動手實現自動化的工具來提高整個組織效能。針對經常碰到的數據傾斜問題，需要很快定位問題並進行優化。 說完了數據儲存這塊，接下來是數據應用的幾個關鍵職位，在此之前，我想說數據應用的一個最關鍵的前提是：數據質量、數據質量、數據質量！！在每次闡述你的觀點、分析結論或者用演算法的時候，都需要先檢查，源頭數據正確性，否則任何結論都是偽命題。 3、資料視覺化 這是個很炫的工作，最好是能懂點前端，比如js。資料視覺化人員需要有很好的分析思維，不能為了炫技而忽視對業務的幫助程度。因為我對這個崗位客串的不多，所以沒有特別深入的感悟，不過我覺得這個崗位需要有分析的能力，才能把資料視覺化做好。 另外一方面來說，做數據應用的人都應該懂點資料十句話，要知道觀點表達的素材順序是：圖片>表格>文字，一個能夠用圖片來闡述的機會千萬別用文字來描述，因為這樣更易於讓別人理解。要知道，給大咯阿布那講解事情的時候，需要把老闆設想成是個「數據白痴」，這樣才能把一件事情說的比較生動。 資料視覺化也可以考慮自動化和工具化方面的事情，比如用tableau、FineBI、FineReport之類的報表BI系統工具替代，都能支援大數據分析。 FineReport個人免費版下載 4、數據分析師 現在對數據分析的需求是很大的，因為大家都想著說：數據有了，但是能做些什麼呢？這就需要有數據分析師，對數據進行分析和探勘，然後做數據應用。 對數據分析師吐槽最多的是：你分析出來的不就是正常的業務邏輯嗎，還需要你分析什麼？或者是你分析的結論不對，跟我們的業務邏輯不符合。特別是：ABTest的結果和當初設定的預期不相符合的時候，分析師會常常被拉過去說：分析一下，為什麼我的AB實驗結果不顯著，裡面肯定有原因的。 很多時候心裡苦啊，你說這個轉化率下降了，從數據上可以看出哪個細分渠道下降了，至於為什麼客戶不下單，我們得去用戶去，很多時候，數據上也體現不出來為什麼，只能告訴你現狀是什麼。 如果你一直在寫分析報告，給結論中，持續周而復始，沒有直接在業務中體現成績的時候，數據分析師們該醒醒了，你該想想這個是你要的崗位嗎？ 對於數據分析師的定位：個人認為，成為優秀的數據分析師是非常難的，現在市面上也沒有多少優秀的分析師。數據分析師的技能要求，除了會數據分析、提煉結論、洞察數據背後的原因之外，還需要了解業務，懂演算法。 只有這樣，當面對一個業務問題時，數據分析師們才可以針對問題抽絲剝繭，層層遞進去解決問題，再根據定位的問題進行策略的應對，比如是先做上策略進行測試還是應用演算法進行優化，用演算法用在哪個場景上，能不能用演算法來解決問題。 一個優秀的數據分析師，是個精通業務和演算法的全能數據科學家，不是那個只會聽從業務的需求而進行拉數據、做報表、只做數據分析的閑雜人等。我們都說數據分析要給出結論，優秀分析師的結論就是一個能解決問題的一攬子策略和應對措施，同時很多需求是分析師去主動發現並通過數據來挖掘出來的。 從上述描述中，可以看到對數據分析師的要求是：會寫sql拉數據，精通業務、會數據洞察、精通演算法，主動性強，要求還是很高的。 如果你一直只是忙於應付日常分析需求，熱衷於寫華麗的報告，那麼你要記得，你很危險，因為會有一堆人在那裡質疑你存在的價值，特別是小公司。因為數據人員的薪資是個不小的支出。 大部分不落地的分析都是偽分析，有一些探索性的可行性研究可以不考慮落地，但是其他的特定業務需求的分析都需要考慮落地，然後通過實踐來反推你的作用，如此反覆，才能慢慢的給你價值的肯定，同時提升你的分析技能，也只有這樣才能證明你作為數據分析師、數據落地者的價值。 5、數據探勘演算法 這塊的話，經過這三年的摸爬滾打，感觸蠻多的。體會比較深的吐槽主要有以下幾點： 一個規則搞定了，還用什麼演算法。 你的準確率怎麼這麼低？！ 你的準確率可以到99%嗎？ 你的推薦有價值嗎？你不推薦客人也會下那個產品的訂單的。 幫我做個大數據分析預測他想要什麼？ 很多時候，不同的場景對準確率的要求是不同的，所以在一定合理的場景下和業務進行據理力爭是必要，不要害怕讓業務吐槽，更多的時候管理好他們的預期。 有些場景下，推薦的價值在於『長期復購率』，所以不要每次都盯著A/BTest的轉化率來說事，讓客戶的費力度降低也是很有前途和前景的。一個智慧的產品會讓客人用起來愛不釋手，雖然在這一次的轉化中沒有明顯的差別，但是觀察長期復購率才能體現價值。特別是要區分：高頻和低頻產品。頻次比較低的產品就特別難體現出短期價值。 對於這個崗位的技能要求來說，沒有要求你一定要從零開始實現所有的演算法，現在有很多現成的演算法包進行調用。最基本的要求是，你要知道每個場景會用到哪個演算法，比如分類場景，常用的分類演算法就有LR/RF/Xgboost/ET等等，此外，你還要知道每個演算法的有效優化參數是什麼、模型效果不好的時候怎麼優化。還需要有演算法的實現能力，語言方面可以用Scala/python/R/Java等。我們常說：工具不重要，重要的是你玩工具，不是工具玩你。 另外針對有監督式學習演算法，演算法工程師最好有很好的業務sense，這樣在feature設計的時候才能更有針對性，設計的feature才有可能有很好的先驗性。 6、深度學習（NLP、CNN、語言識別） 這塊我沒具體商用過，只是動手實踐過。個人感覺商業化是重點吧，特別是大家都在觀望說你的chatbot很有用啊，可是siri做了這麼久，最後反響也一般。 […]
前陣子，和一群企業CIO聊天，希望從甲方角度看看對BI軟體產品的看法。在問及一些成熟企業為何不導入BI專案時，大家紛紛表示目前還處於觀望狀態。 提及商業智慧BI，大家都覺得有些飄忽，和大數據一樣，聽著高大上，能真正實現落地的並沒有多少，性價比甚至不如一個報表工具。 可以理解這些行業人士的困惑，十多年前，SAP BO、Oracle BIEE、IBM Cognos 等老牌巨頭的出現，賦予了數據利用一個新概念，資料庫內容可以打通，數據得到整合，數據能視覺化展現。可最後利用的程度遠不及當初設想的那樣，使用複雜、老闆學不會，BI系統最終仍淪為一個報表展現工具。 但是另一頭，我看到另外一番景象。16年中旬，帆軟舉辦了「標杆案例巡展」，攜帶FineBI4.0的產品發布走過北京、上海、廣州、深圳、杭州、台北等22個城市，而且幾乎場場爆滿，能感受到現場觀眾的熱情和對於新BI技術出現的期待。 為何企業對BI既糾結又期待，未來BI將如何發展？ 企業對於BI系統的猶豫不決，主要是用戶期望與傳統商業智慧BI的矛盾點，這種矛盾可能源於成本、數據基礎和管理問題。 第一，成本。 從前期BI軟體的選型調研、硬體採購，到期間的諮詢服務、專案實施，以及後續的培訓和維護，很多企業不是不想上 SAP BO、OBIEE、Cognos，而是考慮到成本的問題。比如採用傳統數據倉庫的模式，無論是Kimball還是 Inmon，一旦涉及複雜業務邏輯，整個實施周期都至少是按月、年來算。其次，後續的使用比如業務部門提出的數據報表製作，從定稿溝通到修改，一來一回的周期也不敢想像。純粹的IT驅動報表製作需要大量人力。 第二，數據基礎。 企業是否有能力實施BI系統，最重要的是基礎數據的統一。比如貨物資料，供應商資料，公司內部資料，數據內容不齊全，管理不規範，從積累到整理至少要2-3年的時間。再加上統一業務形式，統一數據口徑來規範數據質量，這個周期對於急於上線使用的企業來講簡直遙遙無期。 第三，管理配合。 BI系統涉及的面很廣，要想發揮最大的效用，一來需要得到管理者的認同，用於從上至下的推進；二來需要業務與IT資訊部門的積極配合，完成從下至上的執行和反饋。數據口徑不統一，業務需求不確認完善、人才資源儲備不足，這些都會導致BI風險的增加。 所以基本上，上述的三個因素阻礙了企業的進一步想法，市場上也急需能夠解決以上三個問題的新方案或新產品。 從我們今年巡展交流和簽約的情況來看，企業對於新型BI系統十分期待甚至有眼前一亮的感覺。上線實施BI系統的企業大多是出於大數據應用平台建設以及行動化BI的需求，面向企業中高層。對新型BI工具的輕量、性能、多源數據介面支援有較高的關注。這種趨勢並不是一面之詞，近幾年傳統BI巨頭紛紛進行產品轉型，Oracle發布可視化雲服務，微軟推出Power BI，IBM推出基於雲端 SaaS 分析服務。新型BI市場，國外Tableau、Qlikview搶佔先機穩紮穩打，國內除帆軟也推出新型BI。IT界稱近幾年是新型 BI 的高速發展和傳統BI的衰退的轉變之年。 如今，市面上可供選擇的BI工具越來越多，模塊操作也大同小異，企業不知道該如何選擇BI工具？特別是大型企業的BI系統和中小型企業的BI系統又該如何選擇？ 大中型組織BI在向數據決策管控型方向整合 大中型企業經過多年的發展已沉澱了足夠的數據，會從決策動力出發去考慮打通數據和整合問題。BI系統更多的是管理上的輔助使用，幫助高層管理者看透企業的經營。可以是操作層的也可以是戰術和戰略層的決策。我們有一家大型醫藥客戶仁和集團，他們實施BI的主要目的就是幫助梳理數據，替換原有人為加工的靜態報表，將業務模塊化，動態展示數據，並通過移動化BI來實時查看業務報表，鑽取數據分析原因和預測趨勢。BI系統上線至今已有半年，目前已成熟地應用於財務分析、採購分析、工業運營分析以及工業指揮中心使用。 小微型組織BI在向數據探勘和自助型分析分析倒逼業務整合方向發展 對於中小型企業，數位化建設還未成熟，BI系統的使用一方面是利用數據分析的優勢幫助制定業務決策，防範企業成長過程中的風險；另一方面利用商業智慧BI倒逼數據調整，幫助企業從一開始就建立標準化的數據質量，提升內部管理降低企業管理成本。在我們接觸到的一些中小微組織，尤其是一些快速成長的網路企業，數量級大，往往是TB/PB級別的數據；內部外部的數據來源複雜，從原始的關係型資料庫到分布式架構的greenplum、kylin再到大數據架構hadoop、spark等；分析複雜度高，業務又以數據驅動型為主，網站分析，用戶行為分析、風險管控，數據分析直接關係著業績產出。對於BI系統的需求往往是門檻低輕量化，能夠少成本短周期的快速投入，這一點，新型BI在對接大數據應用平台和處理大數據性能上有絕佳的優勢，不失為業務員用於分析的「自助式工具」。 很多媒體或業界拿商業智慧和大數據比較，認為大數據的處理和探勘BI系統遠不及一些大數據分析技術。這裡，筆者認為，BI產品的使用關鍵還是業務和管理，一方用於梳理數據，提升管理水平，一方則是深入挖掘某一領域，為企業核心業務提供精準預測的手段。兩者有共通之處，但不敢苟同。 綜上，未來的BI系統市場是巨大的，涉及的觸角也會越來越多。就我觀察到的企業應用以及數據類產品中發現，很多企業通過數據介面引入了更多外部的數據來完善分析，也有部分企業私有化部署的BI產品在往雲BI方向發展。與R語言、數據探勘類技術的集成，也將進一步提高數據分析的深度。
