帆軟開發了統一的管理介面用於維護報表事件，開發者可以在管理介面內看到所有當前報表的事件。

一文告訴你連鎖店鋪如何做營業報表

業績報表年年都要寫，怎麼才能寫出亮點呢？最簡單的方式就是資料視覺化，本文教大家如何利用視覺化圖表來提升業績報表顏值。

在這個大資料的時代，資料成為了重要的生產力，有效的資料分析也成為了企業經營管理過程中重要的組成部分，在各個方面都指導著企業的決策，利用報表進行統計分析已經成為趨勢，優秀的報表軟體幫你實現辦公自動化。

幫你了解什麼是報表產生器？如何使用？SSRS報表產生器的優缺點？有什麼可以替代SSRS麼？

為什麼做出來的業務報表總被說沒用？怎麼樣才能做出令人滿意的報表呢？結合我將近10年的從業經驗，給大家一些建議，希望能夠幫助到大家。

財務報表是傳達公司的經營活動和財務表現的書面記錄。財務報表通常由政府機構、會計師、公司等審計，以確保準確性，併為稅收、融資或投資服務。本篇將重點談談怎麼高效地做財務報表，聊聊如何最大發揮財務報表的價值。

一、什麼是生產報表？ 為了監控工程進度和產品生產情況，大多數生產製造業都要做生產報表 。 小型製造企業依靠老闆親自指導人力和機械裝置，製作生產日報只需記簡單的產量即可。這一階段的生產日通常寫在車間的小黑板上，或用Excel 做記錄。當企業規模擴大時，生產日報更加重要，生產日報的製作和收集流程也更為複雜。 每條生產線按專業分工負責，而每條生產線上需要每日將生產產量和投入資源填入生產日報表中。 接著用手工輸入，或藉由自動輸入工具 (如掃條碼 )的方式，將每日產量和投入資源的資料輸入生產日報表的資料庫中。最後，需要對這些資料做後續的資料分析，這樣才能發揮出生產日報的意義和價值。 二、生產報表的常見問題 軟妹收集了許多生產報表的典型問題，看看其中你有沒有相同的煩惱 通常，資料儲存在Excel中，但由於不同生产线有不同的資料，用Excel計算，加上繁瑣的公式，存在大量的重複性工作。收集資料的過程很耗時。即使資料倉庫和生產報表的模板已經做好了，修改和調整固定的報表也是非常麻煩的。對報告的每次更改都需要更改基礎模板，耗時耗力。生產報表往往只是一堆資料，後期的資料分析和問題洞察都具有挑戰性，很難發揮生產報表的實際價值。 接下來，軟妹將以FineReport報表工具為例，來教您如何實現生產報表的自動生成，幫助你擺脫繁瑣的報表製作工作，並最大化的發揮生產報表的價值。 三、生產日報表的自動化實現方案 什麼是自動化的報表生成呢？ 自動化報表只需製作一次，之後只需將資料輸入到已經制作的模板中，便可定時生存生產統計報表 ，如生產日報表或生產週報表 。 由於企業不同 ，生產統計報表的格式也不同，內容也有差異，但總體而言，不外乎以下幾個方面 ：產量 (日產量 、周產量 、月產量 )、質量 (成品率 、次品率)以及批次。 下面軟妹就以最常見的生產日報表為例 ，來看 一下應該如何實現 。 1.確認需求，梳理流程。 需求是生產日報表 ，顯示的資訊有日期 ，訂單號 ，產品 ，產量 ，這樣, 報表的主體內容就確定了。 然後是對流程的梳理。每天下班時，由生產人員填寫每天生產的具體情況 ，等所有生產人員填寫完後，自動彙總生成車間總的生產日報表 ，這一流程涉及生產人員填寫報表，自動生成彙總表，以及判斷所有員工是否已填寫生產日報表。 2.製作報表 根據第一步，我們已經確定了報表的流程和具體格式。接下來是報表的具體實現。這裡需要兩張報表，一張報表給員工填報，另一種彙總報表給主管瀏覽 。 填寫報表需要使用FineReport的填報功能。首先在FineReport中建立一個新的表單，根據第一步中的表格內容製作相應的樣式，這裡的操作與excel的操作相似，就不多說了 。 接下來需要繫結單元格和資料庫，因為這是一份報表，需要將僱員填寫的具體資料儲存在資料庫中，然後才能彙總顯示。 怎樣繫結資料庫呢？ 非常簡單，選中待繫結的單元格，設定欄位屬性，然後再智能新增欄位就OK了，具體操作可以參考…

近日，國際知名調研機構Gartner發佈了2021年度的分析與商業智慧平臺魔力象限報告（《Magic Quadrant for Analytics and Business Intelligence Platforms》），帆軟軟體入選榮譽提及名單，這也是亞洲唯一一家入選的獨立BI廠商。 Gartner魔力象限有何魔力？ Gartner作為世界上最為知名的IT諮詢和研究機構，頗受科技巨頭的追捧，73%的財富500強用Gartner的洞察和資訊做關鍵決策。Gartner魔力象限，全稱為「Gartner Magic Quadrant」，是Gartner推出的監測和評估專業科技市場中公司的發展和定位的一種研究方法論和形象化工具，同時也是業內公認的風向標，是世界五百強CIO採購技術產品時的重要報告依據。自推出以來，魔力象限便成為了微軟、谷歌、SAP等國際科技巨頭廠商競相角逐的榮譽，各大廠商都以能進入魔力象限報告為榮。 哪些廠商才能入選魔力象限報告 Gartner報告評選標準以嚴苛著稱，且按照統一的國際標準進行評測，只有產品、技術、市場等方面均取得突出成績的廠商才有資格參與測評。 與往年有所不同，Gartner在本年度的報告中格外重視起產品定義和市場動量兩大要素，供應商要進入ABI平臺魔力象限，提供的產品必須符合Gartner對ABI平臺的定義，同時供應商的市場動量指數（market momentum index）必須達到國際領先，因此，市場動量指數可謂是ABI供應商進入魔力象限的關鍵前提。另外，本次報告打破慣例，特意新增榮譽提及名單，對未能納入魔力象限但市場表現不俗的供應商也作了介紹，足見Gartner重視程度之深，可以說只要能進入魔力象限報告，在Gartner看來就已經是行業標杆。 帆軟榮譽入選，市場表現行業領先！ 魔力象限報告的嚴苛標準自然無需多言，市場動量指數是ABI供應商的搜索量、就業網站职缺數和Gartner論壇中的評論提及數等指標的綜合評估結果。這對獨立ABI廠商無疑是非常大的挑戰，不僅要做好本土市場，還需要強大的國際市場支撐。 而在本次報告中，獨立ABI廠商帆軟憑藉其對BI的不斷求索與多年的行業深耕，突出重圍，在國際巨頭把持的賽道上以黑馬之姿入選Gartner ABI平臺魔力象限報告的榮譽提及名單，可謂是振奮人心。作為唯一一家入選的亞洲獨立BI廠商，帆軟的入選意味著其市場動量表現已經領先行業，也意味著帆軟在公司實力、產品能力、市場吸引力、科技實力等全方位表現得到了Gartner的極大認可。 Gartner對帆軟評價道：“這是中國最大的ABI供應商之一，其傳統的、以報表為中心的BI產品FineReport被廣泛應用。它的新FineBI產品通過本地部署模型提供視覺化驅動的自助式BI”。 帆軟屢次被Gartner提及，實力何在？ 實際上，Gartner在2017年《傳統企業報表平臺市場指南》與最新的《市場趨勢：中國企業買家越來越偏好本地供應商進行虛擬化，數據和分析》報告中都已多次提及帆軟，表現了其對這家國內商業智慧領跑者的強烈關注。頻頻受Gartner青睞，帆軟的實力何在？ 一、15年精心打磨，深化產品優勢 成立15年來，帆軟一直以產品為核心，立足用戶，專注完善和打磨產品功能，為用戶提供從數據採集、數據處理、數據分析到數據視覺化展現的商業智慧解決方案，賦予超過500萬終端用戶大數據分析的能力。 旗下企業級WEB報表工具FineReport，是Gartner報表平臺全球市場指南唯一入選大陸軟體，借助於FineReport，實施商可以輕鬆的構建出靈活的數據分析，網路直報等應用系統，大大縮短專案週期，減少實施成本。對於最終企業用戶，FineReport可以完美解決企業資訊孤島的問題，搭建統一的數據決策平臺，實現報表用戶的統一管理，讓更多的數據用於業務經營與決策。 新一代自助式BI工具FineBI旨在幫助企業快速搭建面向全員的數據分析與視覺化探索平臺。FineBI創造性提出了提供全視覺化操作的自助數據集，結合企業級管控的基礎，實現了業務人員自助取數，自主多維分析，快速決策，並全方位保障集團性企業的數據權限分配，也讓IT的數據支撐更靈活，更有效。 帆軟始終專注於主航道，不斷精進打磨BI產品，以豐富的產品功能，滿足企業需求的雙模IT模式與持續優化客戶體驗的產品更新，不斷提升客戶滿意度。 此外，基於用戶需求，帆軟不斷完善自己的產品線，相繼推出移動數據分析平臺FineMobile、數字大屏看板解決方案，以及面向中小型企業推出的SaaS產品簡道雲，支持用戶根據自身需求、線上零基礎搭建個性化管理應用。 二、深耕垂直領域，完善行業解決方案 專注產品的同時，帆軟深知，產品即是工具，真正讓數據成為生產力的是落地與應用，因此帆軟基於行業產品化的多年積累推出行業解決方案，目前“零售管家”、“行長駕駛艙”、“銀行微信小秘書”、“行銷金助手”、“醫藥風控通”、“阿米巴管理”等方案已在化工、銀行、醫療、零售等多家企業得到成功落地，除此以外，帆軟還打造數據應用研究院，整合企業的數據管理實踐經驗，推出D&A 生態系統等數據分析思維模型，幫助企業更好決策。 三、開放的生態體系建設 帆軟認為，生態是一個公司在增長過程中持續保持專注度的有效方法，帆軟只需做連接，保持核心產品的專注與研發，持續代表行業最先進的生產力。其他方面則通過開放的姿態與其他廠商、開發者合作，迅速做到場景互補，從而讓用戶能夠享受更好的整體化方案。 為此，帆軟經過多年的積累，搭建了一套包括夥伴生態、用戶生態、客戶生態和交付生態這四個方面內容的完整的BI生態圈，為自己的產品優化補充營養。 在夥伴生態方面，帆軟面向上下游IT合作夥伴推出“帆軟+”計畫，積累了超過數百家的VAR（附加價值經銷商）合作夥伴，充實自己的服務體系。 在用戶生態方面，帆軟搭建了學習平臺、職業發展平臺、交流平臺和共用平臺，共積累了30萬用戶，通過持續的用戶交流與共創，發展出了活躍的用戶支持生態，成為產品發展的長期源泉。 在客戶生態方面，帆軟累計合作超過15000家企業，覆蓋233個細分行業，服務多家世界500強客戶，形成了自己規模龐大的商業版圖。 在交付生態方面，帆軟形成了以“FineReport+FineBI”的雙模數據支撐。其中，FineReport維穩，應對不同IT場景下的數據分析應用；FineBI拓展，為企業提供客製化解決方案。此外，帆軟還從售後服務、實施服務、社區服務和人才培養這四個方面構建了四維一體的服務體系，從人才到產品多個維度實現聯動，充分提高售後專案實施和服務回應效率。 完善的產品+優質的服務+活躍龐大的客戶終端形成了帆軟一套完整的產品服務體系。就是憑藉這套不斷完善的生態體系，帆軟逐漸將自己的核心業務做到極致，形成了自己特有的行業優勢，在競爭激烈的行業中擁有自己的一席之地。 不忘初心，走向世界 正如帆軟CEO兼聯合創始人陳炎所說：“企業必須在自己選擇的主賽道上，像阿甘一樣奔跑。”正是這樣的專注與深耕，堅持“讓數據成為生產力”的願景，使得帆軟穩紮穩打，堅守為客戶創造價值的初心，既有順勢而為的實力，也有在疫情年逆流而上的動力。 入選魔力象限報告，是帆軟在國際商業智慧賽道上邁出的重要一步。打造真正走向世界級的BI產品，帆軟任重道遠，但必將負重前行。 點擊此處下載FineReport產品白皮書：FineReport V10.0產品白皮書 慾瞭解更多產品資訊，請聯繫台灣客戶經理，獲得您的客製化專案。 +886 933-790886 王人賢…

什麼是SQL?為什麼學習SQL？ SQL全稱是 Structured Query Language，翻譯後就是結構化查詢語言，是一種資料庫查詢和程式設計語言，用於存取數據以及查詢、更新和管理關係資料庫系統。 至於 ORACLE、DB2、Sybase、SQL Server、MySQL、MS Access等都是資料庫，雖然語法上有差異，但是基本上都是大同小異。 作為一名數據從業者，雖然市面上有很多很智慧很自助的數據工具，甚至有的拖拖拽拽就能實現，但作為一名報表工程師、數據分析師，不懂一點SQL是絕對不行的。 像是使用FineReport做報表，雖然用FineReport可以連線各系統的資料，通過拖拽操作+SQL語法結合的方式就可以高效率批量的製作報表，但及基礎的SQL語法還是要懂的。 之前很多文章對於SQL都一筆帶過，輕描帶寫，略忽視這項基本技能的重要性，所以今天就來講講如何學習SQL。 零基礎自學SQL時需要避開的2大障礙 1、學習之前先安裝sql server軟體（對於新人而言，安裝這個軟體真得是浪費時間，坑太多。剛畢業入職教育訓練的時候要求2天內自學SQL，結果我花了1天時間安裝軟體）； 2、一上來就看和背太多sql語法，對於新人而言，不去實踐是記不住的，而且語法隨時可以查詢，以後用得多了自然就掌握了（文尾為大家準備了大量經典習題）； SQL的學習和練習可以使用線上的學習資源，我們可以在本機中進行。線上學習資源豐富、交互式教學、無需自己搭建資料庫，這些優點非常方便初學者。本機SQL學習可以再無網絡的情況下進行，並且是最真實的資料處理過程，如同在實際工作中使用，所以對於資料庫以及SQL與資料庫之間的連接有真實深入的了解。但需要自己搭建資料庫。為了避免這一麻煩，我們下面給大家提供了資料庫表可供直接使用。可以兩種方式結合，能快速學習，又能在真實場景應用。 最全SQL線上學習資源和練習 一、你需要一本SQL語法手冊，隨時用隨時查 這裡提供2個繁體版本的網站，優點是的可以快速查詢基礎的sql命令，理解SQL命令的含義和使用方法。http://tw.gitbook.net/sql/index.htmlhttps://www.1keydata.com/tw/sql/sql.html 二、SQL邊學習邊練習，再來個測驗看學習成果 這裡提供幾個在線學習SQL的網站，在上面你可以寫自己寫SQL語句，然後運行看看結果是否正確。使用這些網站你可以不用費力自己去搭建一個數據庫，在交互式的學習中更快的掌握SQL技能。 1.sqlzoo https://sqlzoo.net/wiki/SELECT_basics/zh提供繁體中文版本，互動式教學，可以隨時將所學SQL執行查看效果。 2. CodeCademy https://www.codecademy.com/learn/learn-sqlhttps://www.codecademy.com/learn/sql-table-transformation優點是交互式的學習，幾乎是真實的數據庫下使用SQL，註冊後有免費可以學，同時送7天的pro版本。缺點是英文環境，但並不是很難。 3.sqlbolt https://sqlbolt.com/頁面簡潔，無須註冊即可使用，在線交互式的學習，每一節課講解後面都有對應的練習題，可以立即進行查看學習效果。缺點是英文頁面。 4. w3school http://www.w3school.com.cn/sql/index.asp 非交互式的學習，無須註冊，學完後有小測驗。可以當作SQL詞典來查詢使用。 5. w3schools https://www.w3schools.com/sql/default.asp交互式學習，每一小節有練習題可以做。英文網站 6. sqlteaching https://www.sqlteaching.com/互動式教學方式，頁面簡潔易懂英文網站 本機學習SQL，使用Mysql資料庫，在NavicatSQL中練習 1、下載安裝phpstudy軟體 這個軟體自帶了mysql資料庫，而且安裝啟動方便，打開phpstudy後，點擊下圖中的啟動，點擊後資料庫服務就會啟動了。 2、下載安裝Navicat軟體 這個軟體可以輕鬆連接資料庫，我們可以在這個軟體中練習學習SQL語法。使用Navicat建立資料庫連接，點擊檔案——新建連接，連接名隨便填寫，比如我寫的是「本地」。主機名、埠都不需要修改，用戶名和密碼都是root（因為我們安裝的phpstudy里的mysql默認用戶名密碼就是root），點擊連接測試顯示為成功後點確定保存。以後再次訪問時，雙擊即可。 3、下載習題進行學習，內含習題需要用到的數據表 4、導入第3步中下載的數據表 右擊第2步中的「本地」，新建一個資料庫test1，雙擊打開新建的資料庫（打開後顏色是綠色）。拖拽剛才下載的資料表文件（sqltest1.sql）到test1上面。這時會出現上述彈窗，點擊開始，等待導入完成後，點擊關閉在左側空白處右擊，選擇“刷新”，即可看到剛才導入的資料表了。 5、打開sql語法編輯器 如下圖點擊查詢 — — 新建查詢，在空白處輸入sql語法，點擊運行，如果輸入錯誤會有報錯，輸入正確則會返回查詢內容。…

資料分析從業者常會遇到這個問題：想做資料分析、資料視覺化但是手上沒有高質量的資料。今天介紹20個免費開放的資料源給大家。 如果你還想學習資料庫、SQL、BI工具相關知識，推薦你閱讀這篇全面的教學資源文章：資料庫，SQL，Tableau，FineReport，Power BI教學資源大全。 一、各國政府公開資料 各國政府都在瘋開放資料，不僅開放資料量大增，資料的質量也在改善。台灣的政府開放資料已經非常的多，人口、經濟、醫療、旅遊、氣候等等能夠很輕鬆的在相關部門的網站上獲取到。但我們常常會拿這些資料和其他國家的狀況作對比，所以掌握幾個常用國家的資料平台也非常必要。這裡列舉幾個比較常用到的： 1、台灣政府資料開放平台：https://data.gov.tw/ 2、香港政府數據中心：https://data.gov.hk/en/ 3、英國國家數據中心：https://data.gov.uk/ 4、日本統計局：http://www.stat.go.jp/ 5、中國國家數據中心：http://data.stats.gov.cn/ 6、美國政府開放資料：https://www.data.gov/ 7、歐盟資料平台：https://www.europeandataportal.eu/ 沒有列舉出來的國家可以通過搜尋 國家+開放資料 去具體獲取。另外，每個國家不同部門也會開放資料在官網上，比如台灣除了政府資料開放平台外，還有台北市開放資料平台、台灣氣象資料開放平台······，可以去搜尋對應的內容。 8、如果你不願意在google的海洋里搜索，你也可以使用這個網站：Open Data Inception。這是一個導航性質的門戶網站，彙集了全球2600多個開放數據門戶，可以按照地圖去查找。 二、世界組織統計資料 9、世界經濟貿易合作組織資料庫：https://data.oecd.org/ 可以按照國家和主題來搜索，比如一個國家的人口、稅收、進出口等經濟資料，全球經濟狀況等等。如果你需要一次性對比幾個國家的資料，在OECD上獲取比一個一個國家開放資料平台搜尋要方便許多。 10、世界銀行開放資料：https://data.worldbank.org.cn/ 很方便的有中文語言提供，國家的氣候、融資、經濟、教育、人口等資料非常全面，都可以下載。 11、世界衛生組織：http://apps.who.int/gho/data/node.home 健康醫療等資料都可以在這裡獲取。近幾年智慧醫療興起，關於免疫、疾病預治、藥物、營養等方面的資料分析越來越多，WHO提供了非常多類別的最新資料。 還有諸如世界婦女兒童基金會、美國宇航局等等組織都有提供資料，可以根據需要獲取。 三、企業/平台資料庫 12、github：https://github.com/awesomedata/awesome-public-datasets 相信很多人都知道這個知名資源。農業、氣候、經濟、教育、能源、金融，非常全面。以下列舉部分資料庫目錄。 13、Google BigQuery 公開資料集：https://cloud.google.com/bigquery/public-data/ 不是完全免費的，超過1T需要付費。以美國的資料居多，作為資料分析資源使用還是可以的。 14、Youtube資料集：https://research.google.com/youtube8m/index.html 對youtube資料有分析需求的可以看一下 15、GOOGLE開放資料搜索：http://www.google.com/publicdata/directory?hl=en_US&dl=en_US 中文語言下無法使用，要切換成英文。google搜索可以搜索到所有網路資料，而google開放資料搜索可以說是一個進階搜索，只搜索資料庫。 16、Google趨勢搜索：https://trends.google.com/trends/?geo=US 做市場行銷、運營等關注熱點事件的可以使用這個。通過搜索熱門關鍵字，下載這個關鍵字在google上的熱門情況資料。可以按照國家來查看狀況，比較同一個詞在不同國家的熱度等狀況。 17、亞馬遜aws：https://aws.amazon.com/cn/datasets/ 來自亞馬遜的跨科學雲數據平台，包含化學、生物、經濟等多個領域的數據集。包括1000個基因組工程，試圖建立最全面的人類遺傳信息資料庫和美國宇航局的衛星圖像資料庫。 四、其他類型開放資料 18、MNIST手寫數字數據庫：http://yann.lecun.com/exdb/mnist/ 手寫數據圖像識別數據集，MNIST手寫數據庫具有60,000個示例的訓練集和10,000個示例的測試集。 19、UCI機器學習資料庫：https://archive.ics.uci.edu/ml/datasets.html UCI機器學習庫是機器學習社區用於機器學習算法的經驗分析的數據庫，領域理論和數據生成器的集合。被全世界的學生，教育工作者和研究人員廣泛用作機器學習數據集的主要來源。 20、爬蟲 還有很多資料是沒有現成的可以使用，需要用到爬蟲工具去爬取，例如網站資料的爬取。這方面的工具和方法也很多，有這種需要的可以自行學習。 更多好文推薦： 【生產和庫存】分析生產和庫存，靠這一套指標就夠了！…

對於機器學習/資料科學的初學者來說，線性回歸，或者Logistic回歸是許多人在建立預測模型時接觸的第一/第二種方法。由於這兩種演算法適用性極廣，有些人甚至在走出校門當上資料分析師後還固執地認為回歸只有這兩種形式，或者換句話說，至少線性回歸和Logistic回歸應該是其中最重要兩個演算法。那麼事實真的是這樣嗎？ 目錄 1. 什麼是回歸分析？ 2. 為什麼要用回歸分析？ 3. 幾種常見的回歸分析方法 線性回歸 Logistic回歸 多項式回歸 逐步回歸 嶺回歸 Lasso回歸 ElasticNet回歸 4. 如何挑選適合的回歸模型？ 什麼是回歸分析？ 回歸分析是一種預測建模技術，它可以被用來研究因變數（目標）和自變數（預測）之間的關係，常見於預測建模、時間序列建模和查找變數間關係等應用。舉個例子，透過回歸分析，我們能得出司機超速駕駛和發生交通事故次數之間的關係。 它是建模和資料分析的重要工具。回歸分析在圖像上表示為一條努力擬合所有數據點的曲線/線段，它的目標是使資料點和曲線間的距離最小化。 為什麼要用回歸分析？ 如上所述，回歸分析估計的是兩個或兩個以上變數間的關係。我們可以舉這樣一個例子來幫助理解： 假設A想根據公司當前的經濟狀況估算銷售增長率，而最近一份資料表明，公司的銷售額增長約為財務增長的2.5倍。在此基礎上，A就能基於各項資料資訊預測公司未來的銷售情況。 使用回歸分析有許多優點，其中最突出的主要是以下兩個： 它能顯示因變數和自變數之間的顯著關係； 它能表現多個獨立變數對因變數的不同影響程度 除此之外，回歸分析還能揭示同一個變數帶來的不同影響，如價格變動幅度和促銷活動多少。它為市場研究人員/資料分析師/資料科學家構建預測模型提供了評估所用的各種重要變數。 幾種常見的回歸分析方法 回歸分析的方法有很多，但其中出名的沒幾個。綜合來看，所有方法基本上都由這3個重要自變數驅動：自變數的數量、因變數的類型和回歸曲線的形狀。 至於為什麼是這三點，我們會在後文作出具體解釋。當然，對於那些有創意、能獨立設計自變數的人，他們的模型大可不必局限於這些自變數。這只是以前大多數人的做法。 1. 線性回歸 線性回歸是知名度最廣的建模方法之一。每當提及建立一個預測模型，它總能占一個首選項名額。對於線性回歸，它的因變數是連續的，自變數則可以是連續的或是離散的。它的回歸線在本質上是線性的。 在一元問題中，如果我們要用線性回歸建立因變數Y和和自變數X之間的關係，這時它的回歸線是一條直線，如下圖所示。 它的相應運算式為：Y = a + b × X + e。其中a是y軸截距，b是回歸線斜率，e是誤差項。 但有時我們可能擁有不止一個自變數X，即多元問題，這時多元線性回歸的回歸方程就是一個平面或是一個超平面。 既然有了一條線，那我們如何確定擬合得最好的那條回歸線呢（a和b的值）？對於這個問題，最常規的方法是最小二乘法——最小化每個點到回歸線的歐氏距離平方和。由於做了平方，距離不存在正負差別影響。 線性回歸重點： 自變數和因變數之間必須存在線性關係； 多元回歸受多重共線性、自相關和異方差影響； 線性回歸對異常值非常敏感。它會嚴重影響回歸線，並最終影響預測值。 多重共線性會使自變數估計值的方差增大，可能會過度地影響最小二乘估計值，從而造成消極影響。…

文|投稿 最近，在網路上看到一個問題：「數據分析師需要注重哪方面的電腦技能培養？」 問題的背景是這樣的： 某高校通信專業出身，畢業後在營運商工作了7年多，先後從事通信網路運維、規劃工作，近兩年負責營運商數據分析（網路部門，偏向業務分析）。由於職業發展瓶頸，從去年11月計劃跳槽，花了半年時間學習統計學基礎、SQL、Python等。近期跳槽到互聯網產品部門，從事互聯網產品（APP）的數據分析師，支撐產品部門的數據分析（偏向業務分析，不負責數據倉庫、ETL等偏向IT工作）。工作內容差異較大，包括分析的顆粒度、工作方式（例如自己寫shell腳本跑數）、工作內容，因此緊急提升linux（shell編程）、SQL等技能，且加快對業務的熟悉，但仍感覺亞歷山大。個人想繼續往數據分析方向發展，也深知數據分析包括電腦科學、統計學、業務等三個部分內容，目前比較欠缺的應該是電腦科學，請問對於想往數據分析師（數據科學）方向發展，電腦科學方面的技能能否給些提升建議？ 今天也是想借這個問題，系統回答下「數據分析師」的職業發展，也是最近在思考的。 根據我近10年的工作經驗，包括在甲方IT部任職商業智慧BI專案經理和運營部任職業務分析經理，乙方Data Analytics專案（EDW/BI/Big Data/AI Machine Learning）諮詢和專案實施經驗，按照由易到難的進階步驟，我覺得應該掌握這些技能： 基礎篇 1、首先是Excel 貌似這個很簡單，其實未必。Excel不僅能夠做簡單二維表、複雜嵌套表，能畫折線圖/Column chart/Bar chart/Area chart/餅圖/雷達圖/Combo char/散點圖/Win Loss圖等，而且能實現更高級的功能，包括透視表（類似於商業智慧BI的多維分析模型Cube），以及Vlookup等複雜函數，處理100萬條以內的數據沒有大問題。最後，很多更高級的工具都有Excel插件，例如一些AI Machine Learning的開發工具等。 你還在用Excel? 用這工具，5步完爆Excel表格 2、掌握SQL Server或者Oracle的SQL語句 雖然你是業務分析師，但如果取數據能少依賴於IT資訊人員和IT工具（比如BI的多維分析模型，有時候並不能獲取你想要的數據），對於做業務分析，無疑是如虎添翼，我曾經見過華為的會計能寫七層嵌套的SQL語句，很吃驚。包括join，group by， order by，distinct，sum，count，average，各種統計函數等。 3、掌握視覺化工具 比如商業智慧BI，如Cognos/Tableau/FineBI等，具體看企業用什麼工具。這些工具做視覺化非常方便，特別是分析報告能含這些圖，一定會吸引高層領導的眼球，一目了然了解，洞察業務的本質。另外，作為專業的分析師，用多維分析模型Cube能夠方便地自定義報表，效率大大提升。 From FineBI 別忘了我們的FineReport，它本身是一個通用的報表工具和資料視覺化工具。因為其強大的資料整合性能，再結合其10多年來成熟的視覺化元件，FineReport可以製作各類資料視覺化大屏。FineReport的圖表都是自主研發的HTML5圖表，擁有60多種圖表樣式，具有優秀的動態效果和強大的交互體驗。使用時能夠根據需求設定各類特性，並且在手機端，LED大屏也能自我調整展示。 FineReport製作 總結：至此，掌握以上技能的80%，可以算是一個合格的分析師了。這個階段的數據分析師，需要既懂得如何利用工具處理數據，也要懂得業務場景，能分析解決基本的問題。這裡還是要強調一點，數據分析師最重要的是熟悉業務，最好是懂。懂業務，分析邏輯就會清晰一般，而且也能排除大部分無用的嘗試。長期以往對於了解的業務，比對一下數據就知道問題出在哪裡了。 之後，如果是要深鑽技術，甚至往數據科學家方向上發展。 進階篇 1、系統的學好統計學 純粹的機器學習講究演算法預測能力和實現，但是統計一直就強調「可解釋性」。比如說，針對今天某企業股票發行就上升20%，你把你的兩個預測股票上漲還是下跌的model套在你的公司例子上，然後給你的上司看。統計學就是這樣的作用。 數據探勘相關的統計方法（多元Logistic回歸分析、非線性回歸分析、判別分析等） 定量方法（時間軸分析、概率模型、優化） 決策分析（多目的決策分析、決策樹、影響圖、敏感性分析） 樹立競爭優勢的分析（通過項目和成功案例學習基本的分析理念） 資料庫入門（數據模型、資料庫設計） 預測分析（時間軸分析、主成分分析、非參數回歸、統計流程控制） 數據管理（ETL（Extract、Transform、Load）、數據治理、管理責任、元數據） 優化與啟發（整數計劃法、非線性計劃法、局部探索法、超啟發（模擬退火、遺傳演算法）） 大數據分析（非結構化數據概念的學習、MapReduce技術、大數據分析方法） 數據探勘（聚類（k-means法、分割法）、關聯性規則、因子分析、存活時間分析） 其他，以下任選兩門（社交網路、文本分析、Web分析、財務分析、服務業中的分析、能源、健康醫療、供應鏈管理、綜合行銷溝通中的概率模型）…

何謂BI商業智慧(Business Intelligence) ？BI商業智慧和報表有什麼不同？BI的價值有哪些？很多IT人都不能說的很清楚，今天我們來系統的談一談BI商業智慧和報表，還會提供BI導入的廠商和範例參考。 FineReport製作 BI商業智慧是什麼？BI和報表是什麼關係？ 什麼是BI商業智慧(Business Intelligence) ？很多的人認為，報表就是BI。實際上，報表只是BI的一部分，雖然BI應用的結果通常需要通過報表來展示，但是，BI絕對不僅僅是報表。 其實，大家對這些概念的理解，如同20年前的ERP一樣。臺灣企業開始大量導入ERP軟體，以進行內部人資、薪資、財務、會計與進銷存等資料管理，同時藉由該軟體來彙總企業不同系統的資訊來源，進行統籌規畫管理。於是，ERP才逐漸為世人所知，ERP到底是什麼，大家開始眾說紛紜。 財務+進銷存就是ERP？沒有MRP的ERP不叫ERP？顯然，國外ERP廠商與台灣ERP廠商對大眾理解ERP的引導是不一樣的。過程曲曲折折，我們不說也罷，現在我們只總結一下20年後的今天，大家對ERP的理解還有偏差嗎？各ERP廠商還在強調不同的概念嗎？ 答案是，沒有了，大家都統一了，回到了原點：那就是ERP其實是一個系統，它強調的是企業利用資訊化手段將各項資源的匹配系統化，只有將這些資源匹配系統化了，才能最大限度的提高效率，降低成本，從而提升競爭力。而到底ERP包括哪些功能模組，已經少有人去強調了。 所以，我們有理由相信，最終大家對BI的理解，也會回歸到理性的原點：那就是BI是一個輔助決策的智慧系統，它的核心就是説明企業利用好資料，讓決策管理者隨時隨地獲取關鍵資訊，讓決策者基於數位決策，最終提高決策水準。至於用什麼技術來實現上述的目標，慢慢的，會變得不那麼重要。 那麼，基於現階段大家對於BI認識，我們來對比一下報表工具與BI工具的聯繫與區別，讓大家思考一下，我們到底需要的是什麼？ EXCEL做資料分析有哪些問題？BI工具能解決這些問題嗎？ 我們先來看看現階段大家是如何來滿足決策管理者的分析需求的：97%以上是通過EXCEL表格手工整理各種報表，不到3%利用了IT技術，實現了報表的自動化。 隨著決策者對分析的要求越來越高，於是乎，報表越來越多、越來越複雜（甚至出現了所謂的”複雜報表”——在一個EXCEL頁面中，密密麻麻的佈滿了決策者關心的所有內容，就只恨螢幕不夠大）。大家都知道，這些大量的手工處理，是很容易出錯，且無法及時得到的。於是，許多企業有專人來負責報表製作，而這些報表製作人員加班加點也變成了家常便飯。大家努力的效果呢？我們走訪了大量的企業決策者，當問他們：報上來的厚厚一疊報表，您有看嗎？他們絕大多數會回答：有看的，只是，一般只看其中的一兩張。沒有時間，真的有感覺有問題，還是直接找人來問了。 對了，這就是問題的關鍵——我們提供了決策者大量的報表，為什麼價值不大呢？因為資訊一旦過多，就會變成”資訊洪水”。 莫什·魯賓斯坦和艾麗絲·菲爾斯滕貝格在《大腦型組織》一書中寫道，17世紀的一位歐洲紳士“一生中所接觸的資訊量還不如現在的一份日報。”大量的報表仍然讓決策者深陷”資訊洪水”中。 再問決策者，您是希望用什麼方式將資訊給您呢？”我也說不好，反正我們是希望有問題的時候我可以隨時知道。”換而言之，傳統報表是實現決策者這個“希望”的。這句話的核心有兩點：一是有問題才讓我知道，沒問題的話，其實我也不需要關注。二就是我隨時都可以知道。 我們再想想，報表能實現嗎？ EXCEL做的表格報表根本無法快速讓決策者識別是不是有問題，它只是羅列了一堆數字而已。無論報表製作者多麼厲害，老闆想要什麼就有什麼，基本上也是不可能的。此時，報表製作者可能會喊冤了：這麼多報表都是你讓做的，辛辛苦苦加班做出來了，現在說這些報表其實也沒有什麼用，那怪誰呀。 是呀，誰也怪不著。我們也不想去怪誰，看看如何解決這個問題呢？ 簡單，就是用BI技術，改變決策者獲取報表的方式：1、通過儀表板+多維分析+鑽取：儀表板讓決策者首先看到哪項KPI指標有問題，到底問題的原因是什麼，就可以通過鑽取到多維分析模型，多角度的分析問題的真正來源。 2、BI系統可實現“拉”式與“推”式資訊提供方式，決策者主動登入BI系統可隨時查詢，或者系統會以郵件或簡訊的方式推送關鍵資訊。透過這裡就可以看到，BI是一個系統，它是立體多方面的，而報表，僅僅是一種展現方式而已。 BI工具是什麼？和報表工具有什麼區別？ 這是有人會問，如果我想改變excel手工製作報表的情況，我應該如何做呢？我們總結企業在通過IT技術實現決策分析需求時，會經歷下面的階段，絕大多數的企業已經或正計畫實現到報表自動化或報表視覺化的階段，這兩個階段就是解決excel報表出現的問題的。 《手工處理報表》–>《報表自動化》–>《報表視覺化》–>《儀表板+多維》–>《資料採集》 實現報表的自動化和視覺化，報表軟體和BI軟體都可以實現，他們整合多種不同的資料來源，通過視覺化的報表和儀表板展示在各種設備中。那他們有什麼區別的？我們總結了下面三點： 1.適用人群 BI工具：BI軟體比如Tableau,PowerBI適用於有想法的數據分析師，自助分析出問題的答案報表工具：適用於IT製作，全公司人使用。這時候報表製作是否快速要看報表工具的不同，FineReport採用類似excel格式的設計介面極大提高製作效率，為IT人節省很多時間。 2.適用企業 BI工具：偏大型企業，需要規劃資料倉儲，etl，資料建模等，需要專業的數據分析師團隊進行分析報表工具：大中小企業皆有可應用場景。無需數據數倉，需要IT專業人員進行報表製作，懂sql知識。 3.優勢功能 BI工具：BI軟體的優勢在於自主分析，olap拖拉操作即可進行數據分析，非常靈活，及時進行分析。報表工具：製作各類複雜格式報表儀表板，尤其是固定報表格式的，經營分析報表，月報，年報等等。 上圖為FineReport實現複雜報表製作 關於報表工具和BI商業智慧工具的區別，十幾年前回答這個問題很好回答，但是現在卻沒那麼容易。一些傳統報表工具廠商不斷改良產品，在保持報表工具原有優勢的基礎上不斷開發新功能，兼具BI的一些特性；有些BI廠商也在不斷的發展新技術，往新一代自助式BI的方向走去。這時候，同為報表工具，他們之間差異很大；報表工具和bi工具之間比較反而很常見。所以再說報表工具和BI工具的區別的時候，我們建議你針對具體的廠商去對比，而不是單純的比較所屬的類別。 我們來說一個報表工具和BI商業智慧工具比較的例子： FineReport報表BI，這是一款傳統報表不斷向BI靠近的典型例子。它擁有報表工具的典型優勢：製作各種樣式的複雜報表，實現報表自動化和視覺化；另外它靠近bi的地方在於靈活製作各類儀表板戰情室，進行多維度的分析，有統一的報表決策系統。所以很多企業在導入BI專案的時候，會把FineReport作為考察對象，與tableau,powerbi一起比較。你可以來這裡下載體驗一下FineReport報表BI工具，個人免費，限制2個併發，沒有時間限制：FineReport免費下載試用 上圖為FineReport報表bI工具製作的儀表板免費試用FineReport10.0> 企業導入BI的目的和價值是什麼？有哪些BI範例可以參考？ 1.資料分析時效性大增，決策更快速 企業經營中有非常多固定格式的報表，比如生產日報表，財務月報，月度經營會議報表等等，企業需要定期分析一段時間內的數據，根據數據情況調整經營生產計畫。通常情況下我們需要人工從各個分部收集資料，從各個系統匯出資料，然後使用excel進行計算整合設計，最終呈現出來。依據資料量多少和工作人員處理速度不同，這一過程通常耗時幾天甚至十幾天，例如2月經營月報要2月15日才能看到。在市場變化速度快，全球化競爭日趨激烈的狀況下，時效性成為企業競爭的短板。 導入報表BI工具可以讓這些固定報表實時自動生成，2月的經營月報，3月1日就可以看到，直接針對報表召開經營會議。 2.在資訊洪流中，隨時隨地掌握關鍵指標與關鍵問題 資訊大爆發的時代，企業的數據指標非常多，數據報表非常多，怎麼去分辨哪些是有價值的重要的？採訪過十幾家企業老闆這個問題，較多的回答是太多報表和指標了，沒時間看完，有問題直接把負責人叫過來問一下。很多報表人看到這裡很生氣，報表是老闆讓做的，做完了又不看，工作沒價值，浪費人力。 導入BI報表工具可以視覺化與互動性來解決這個問題，針對不同管理者建立戰情室，比如財務總監戰情室，業務總監戰情室，工廠廠長戰情室等等，將核心指標簡單明瞭的展示在上面。同時還能夠支援行動設備，出差在外時可以在手機查看，可以通過點擊下鑽了解詳細資料，有問題的圈出來做批註，分享給對應負責人。有些指標制訂了警戒線，比如庫存不能低於1000，低於1000時，系統會自動發送警告到負責人的手機上，提醒他儘快處理。 3.增強業務系統功能，降低成本，提高效率 企業資訊化已經經歷多年，許多企業都導入了CRM、ERP、OA、MES等等系統，系統內部產生的業務數據想要進一步分析怎麼辦？通常企業會自己開發或請原廠開發，有雨不是專門的數據分析的工具，自己開發難度大，效率低下，原廠開發專案費用非常高。導入報表BI系統，可以整合各個系統的數據，建立統一的報表管理BI系統，在其中查看所有資料分析報表，也可以把BI系統整合到業務系統之中，企業自己的app中，開發簡單方便高效。 4.企業導入BI的範例有哪些可以參考？ 這裡有50多位CIO講述導入BI的情況：BI客戶訪談這裡有300多個企業導入BI案例：BI案例中心…

資料分析與視覺化的世界正在迅速發展，新的參與者不斷加入，成熟品牌搶佔更大範圍市場。許多企業和團隊被沉重的舊工具所束縛，或是從手工模式轉向數位化的時，在市場上能尋找到各式各樣的資料分析工具。就台灣企業而言，不可避免的會遇到微軟PowerBI ，Tableau和帆軟FineReport這三家BI工具廠商。 我們常常把這三家拿來做對比，說明三家的BI工具確實是足夠優秀而又各有差異的，最終並沒有哪一家是絕對的聖者，因為最好的工具取決於您，您的組織，您的預算和您的需求，而不是工具本身。 摘要 Tableau成立於2003年，2013年上市，可以說是資料視覺化領域的黃金準則。如果您不考慮其他因素，只要“最優秀的BI工具”，那麼Tableau非常適合您。所以說有充足資金，充足人力的中大型企業更加適合選擇Tableau。 微軟Microsoft PowerBI是2013年的產品，出現之後迅速成為Tableau最有力的追趕者，並且在很多方面有所超越。PowerBI與微軟Microsoft系列的產品打通，例如Azure，SQL和Office 365，對於已經使用Microsoft产品的人員來說是個不錯的選擇，費用相比於Tableau有很大優勢。 帆軟FineReport是難得的可以和Tableau，PowerBI相抗衡的本土廠商，2006年推出產品，主要在中國大陸、日本、韓國、台灣、東南亞地區發展，在行動端，資料採集、報表列印、開放性、本地化學習資源和服務支援方面頗具優勢。 通過下面這張表格可以快速了解Tableau，PowerBI，FineReport的比較差異。  下面我們來具體的比較一下Tableau，Power BI，FineReport三個BI工具的情況。 1.針對客群 Tableau更加適合有經驗的資料分析專業人士來操作，雖然網絡上的宣傳說普通人也可以簡單拖拽操作，但相比於PowerBI實際上界面却不那么直观，因此使用和学习起来更加困难。那些具有資料分析经验的人在清理数据并将其转换为視覺化報表時会比较輕鬆，但是那些初學者可能會為再進行資料視覺化之前學習一些資料科學的困難而感到不知所措。 微軟MicrosoftPowerBI是為普通使用者服務的（不一定是資料分析師），利用了Excel中提供的許多相同功能，因此具有Office使用經驗的使用者將能夠適應此視覺化工具，所以對於需要資料分析的任何團隊來說，這都是一個很好的選擇。當然資料分析師就更加輕鬆駕馭了。 帆軟FineReport針對的客群是IT資訊人員。雖然針對IT資訊人員，但是設計介面是類似Excel的，採用拖拽操作的方式來設計報表和Dashboard，易用性和高效性都表現突出。 2.企業應用層級 Tableau和PowerBI是典型的商業智慧BI工具，主要用於企業的資料分析與決策，針對分析者提出的問題，透過資料尋找答案。FineReport則是一款報表BI軟體，即能為各個部門製作固定報表，又能為管理層製作Dashboard來提供決策分析，但相比於典型的BI工具，自助分析是弱項。圖片來源：PowerBI 3.資料整合 在資料源整合上，三款軟體都支援非常豐富的資料格式，其中Tableau和FineReport是最為豐富的，PowerBI略有遜色。比如PowerBI无法连接到Hadoop数据库，不支援Derby，不支援Kylin等，但是PowerBI对于一些联机服务器数据源支援的比较好，面向分析，例如Google分析、appFigures等数据。 4.資料容量 PowerBI 每個工作空間最多可以處理10GB的資料。 對於超過10GB的資料，必須是在雲端（Azure）。如果資料在本地資料庫中，則PowerBI只會從資料庫中選擇或提取資料，而不會導入。 Tableau在基於Columnar的結構上工作，該結構僅為每Column存儲唯一值，從而可以獲取數十億列。 FineReport是直接在資料庫上進行操作，無須資料倉儲，沒有資料容量的說法。 5.Dashboards Tableau的Dashboard配置操作十分容易，可以很輕鬆製作正規Dashboard面板。 PowerBI中Dashboard創建儀表板也非常簡單，直接在設計區的空白界面，添加不同的元件即可。各元件可以由用戶任意調整大小和位置，在展現的時候可以自適應頁面。 FineReport適合開發個性化、主題場景的Dashboard，配置版面及風格可任意自定。 圖片來源：FineReport 6.部署方式 Tableau僅支援內置的Tableau Server獨立應用伺服器部署。 PowerBI支援嵌入式部署（需要訂閱Azure服務）支援將報表整合到客戶自己的應用中（iframe整合），不支援嵌入式部署（主流Servlet應用服務器），資料源只能使用SQL Server 分析服務，不支援單點登入。 FineReport在部署與整合的上是最靈活的，支援獨立部署，嵌入式部署（主流Servlet應用服務器），支援將報表整合到客戶自己的應用中（iframe整合），支援屏蔽掉伺服器的端口號，實現 IIS與Tomcat的無縫整合，即去Tomcat端口整合，支援和CAS服務器進行無縫單點登入＆單點登出整合。 7.行動體驗 Tableau行動端效果著重於資訊分析內容的呈現。 需要單獨做適配，調整，不支援查詢，資料採集等功能。 不支援掃QRCODE登陸，只能手動輸入伺服器位址，並且僅支援IOS版本可供下載，不支援Android版本不支援批註功能，僅支援郵件分享儀表板Dashboard位址，不支援分享到社群媒體，安全設定上支援VPN，支援手勢密碼，但不支援設備硬體位址校驗。 PowerBI行動端繼承了PC上的展示、分享功能，但不支援常用視覺交互效果。 不支援掃QRCODE登入伺服器，不支援行動端html5解析，不支援維度旋轉操作，不支援行動端離線操作，安全上支援VPN，不支援設備硬體位址校驗，也不支援行動端原生sdk整合。 FineReport在行動端上的表現是最優的，支援安卓、IOS手機、平板等智慧設備，較多的互動配置（查詢，填報，鑽取，圖表聯動，橫屏、縮放等），可回傳拍照、回報資料寫入、也能兼容平台上的各類型報表查看。 支援掃QRCODE登入伺服器，可添加多個伺服器位址，支援對報表進行批註，並分享至常用溝通工具，支援設備硬體地址校驗，支援手勢密碼，支援VPN，支援與Wechat企業號、Ding Talk等第三方APP整合，還支援離線查看報表。 8.資料採集回寫表單 資料採集功能之所以拿出來作為對比項，是因為在華人企業場景中較多應用到。這是是FineReport獨具特色的功能，Tableau和PowerBI沒有。FineReport可設計WEB、APP回寫表單，寫入關聯式資料庫，在企業的入庫管理，門店管理，手工資料批量入庫等場景中都有應用。…

對於資料分析，我一直強調核心是業務，透過業務的分析邏輯影射到資料分析的處理邏輯，而數據分析工具則是説明我們實現結果的手段。 但是，你說工具不重要吧，他又很重要，就像什麼樣的路選擇什麼樣的交通工具，合適的工具能幫我們更快的達到終點。對應資料分析的不同環節，也要選擇不同的工具，甚至選擇更容易上手。今天這篇文章，就是來掃盲工具的。 估計網路上沒有比這個更全面的了。 一、從企業資料應用架構來劃分 工具的使用還要看企業的需求和環境。為什麼小企業招數據分析師其實就是Excel做報表，大企業找資料分析是卻是把玩高大上的Python、R？這就要看企業的資料架構。 站在IT的角度，實際應用中可以把資料工具分為兩個維度：第一維度：資料存儲層——資料包表層——資料分析層——資料展現層第二維度：用戶級——部門級——企業級——BI級 1、資料存儲層 資料存儲設計到資料庫的概念和資料庫語言，這方面不一定要深鑽研，畢竟有專業的DBA。但至少要理解資料的存儲方式，資料的基本結構和資料類型。SQL查詢語言必不可少，精通最好。可從常用的select查詢，update修改，delete刪除，insert插入的基本結構和讀取入手。 Access這是最基本的個人資料庫，經常用於個人或部分基本的資料存儲；MySQL資料庫，這個對於部門級或者互聯網的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的資料查詢能力。SQL Server2005或更高版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了資料存儲，也包括了資料包表和資料分析了。 DB2，Oracle資料庫都是大型資料庫，主要是企業級，特別是大型企業或者對資料海量存儲需求的就是必須的了，一般大型資料庫公司都提供非常好的資料整合應用平臺。 BI級別，實際上這個不是資料庫，而是建立在前面資料庫基礎上的，企業級應用的數倉。Data Warehouse，建立在DW機上的資料存儲基本上都是商業智慧平臺，整合了各種資料分析，報表、分析和數位轉型展現。 2、報表/BI層 企業存儲了資料需要讀取，需要展現，報表工具則是最普遍應用的工具，尤其是在國內。過去傳統報表大多解決的是展現問題，如今衍生了一些分析型報表工具，也會和其他應用交叉，做資料分析報表，透過介面開放功能、填報、決策報表功能，能夠做到打通資料的進出，涵蓋了早期商業智慧的功能。 像Tableau、PowerBI、FineReport、FineBI、Qlikview這類BI（商業智慧）工具，涵蓋了報表、資料分析、視覺化等多層。底層還可於數倉銜接，構建OLAP分析模型。 FineReport 製作 3、資料分析層 這個層其實有很多分析工具，當然我們最常用的就是Excel。Excel軟體，首先版本越高越好用這是肯定的。當然對excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作！但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體。 SPSS軟體：當前版本是18，名字也改成了PASW Statistics；我從3.0開始Dos環境下程式設計分析，到現在版本的變遷也可以看出SPSS社會科學統計套裝軟體的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體。 SAS軟體：SAS相對SPSS其實功能更強大，SAS是平臺化的，EM挖掘模組平臺整合，相對來講，SAS比較難學些，但如果掌握了SAS會更有價值，比如離散選擇模型，抽樣問題，正交實驗設計等還是SAS比較好用，另外，SAS的學習材料比較多。其他還有Python和R，後面還會詳細講。 4、表現層 表現層也叫資料視覺化，以上每種工具都幾乎提供了一點展現功能。但要說企業級最常應用的還是BI，做分析做報告。而我們的FineReport本身是一個通用的報表工具和資料視覺化工具。就好比Excel，小到可以存儲統計資料、製作各式各樣的資料圖表、dashboard，大到製作財務報表、開發進銷存系統。 它可以連結ERP、CRM、OA、MIS在內的各種業務系統資料，作為一個中間資料管理平臺。它可以快速製作報表，搭建統一的資料分析和視覺化平臺。 就因為其強大的資料整合能力，再結合10多年來成熟的視覺化元件，finereport可以製作各類資料視覺化戰情室。 關於視覺化 FineReport，擁有60多種圖表樣式，基本上涵蓋是市面上所有基礎的圖表，都是自主研發的HTML5圖表，具有優秀的動態效果和強大的交互體驗。使用時能夠根據需求設定各類特性，並且在行動端，LED大屏也能自我調整展示。 關於一些視覺化特效 FineReport目前具有自動刷新、圖表切換、資料高亮顯示等特效，都是根據使用者的實際需求開發，除此之外，帆軟（finereport的母公司）背後有一批愛好的開發者，會利用視覺化開源庫，設計開發視覺化外掛程式，專門為finereport客製，目前這一生態已十分成熟。 FineReport製作 需要說明的是，這樣的分類並不是區分軟體，只是想說明軟體的應用。有時候我們把資料庫就用來進行報表分析，有時候報表就是分析，有時候分析就是展現；當然有時候展現就是分析，分析也是報表，報表就是資料存儲了！ 二、從工具屬性和分析師需求來劃分 在企業中，資料分析師往往分為業務和技術兩類，兩者能力和工作內容有較大區別，對於工具的要求也各有側重。 業務 or 技術 業務類分析師，往往在營運部，市場部，銷售部等，根據服務的業務部門的不同，可能叫資料營運，經營分析，會員分析，商業分析師等名字。因為各個業務線具體考慮的問題不同，分析思路與體系均有不同，所以會有這種區別。日常的工作更多是整理業務報表，針對特定業務做專題分析，圍繞業務增長做需要用到資料的測算、規劃、方案等。 技術類分析師，往往在IT部、資料中心。根據從事的工作環節不同，被分成資料庫工程師，ETL工程師，爬蟲工程師，演算法工程師等角色。在中小企業，往往一個技術小哥通吃這些流程。在大企業，一個標準的資料中心，一般都有數倉、專題分析、建模分析等組來完成資料開發工作，再大的公司，還有專門負責資料治理的小組。之所以有這個區分，是因為生產資料，需要一個多層次的複雜的資料系統。一個資料系統，需要資料獲取、資料内建、資料庫管理、資料演算法開發、報表設計幾個環節組合。這樣才能把分散在各處的一點一滴的資料集中起來，計算成常用的指標，展示成各種炫酷的圖表。這裡每一個環節都需要對應的技術支援和人員工作，因此有了不同的崗位。 大家在找資料分析崗時，一定要區分是技術還是業務，和自己的職業傾向是否匹配。 分析師有技術和業務之分，那對應工具也有這樣的屬性側重。 分析類工具 對於初級資料分析師，玩轉Excel是必須的，樞紐分析表和公式使用必須熟練，VBA是加分。另外，還要學會一個統計分析工具，SPSS作為入門是比較好的。 對於高級資料分析師，使用分析工具是核心能力，VBA基本必備，SPSS/SAS/R至少要熟練使用其中之一，其他分析工具（如Matlab）視情況而定。 對於資料採擷工程師……嗯，R和Python必備，要靠寫程式碼來解決。 程式碼類工具 對於初級資料分析師，會寫SQL查詢，有需要的話寫寫Hadoop和Hive查詢，基本就OK了。對於高級資料分析師，除了SQL以外，學習Python是很有必要的，用來獲取和處理資料都是事半功倍。當然其他程式設計語言也是可以的。對於資料採擷工程師，Hadoop得熟悉，Python/Java/C++至少得熟悉一門，Shell得會用……總之程式設計語言絕對是資料採擷工程師的最核心能力。 一圖說明問題：…

在資料這個領域摸爬滾打的人，取數往往是資料生涯的開始，而 SQL是取數的基本功。如果你已經有了資料庫知識基礎，那麼只需要做一些SQL學習和練習，很快就會掌握。如果你想接著提高sql水平，那就需要學習一些比較高級的用法和技巧了。大家普遍會遇到的一個問題就是訪問速度，如果你發現資料讀取的速度很慢，你可能需要考慮的問題就是：是不是SQL語句寫的有問題，需不需要改善SQL語句。 為什麼要做SQL最佳化 報表的核心是資料，資料集是否合理決定報表的質量。 1.每張報表都應該有一個主資料集，為了降低維護時的工作量，盡量將所有欄位置於主資料集，除非在某些情況下，不使用多源資料集會導致主資料集異常複雜。 2.在製作報表之前，盡量考慮到所有需要展示的資料欄位，在資料庫軟體中，合理編寫sql語句，大數據分析情況盡量對sql做最佳化，以及添加索引。 擁有高性能SQL查詢語句，能使查詢速度加快，報表展示速度得到較明顯的提升！ 20條Tips方案，最佳化你的SQL查詢 1 SELECT子句中避免使用 「*」 當你想在SELECT子句中列出所有的COLUMN時，使用動態SQL列引用『*』是一個方便的方法。不幸的是，這是一個非常低效的方法。 實際上，ORACLE在解析的過程中, 會將「*」 依次轉換成所有的列名, 這個工作是通過查詢資料字典完成的, 這意味著將耗費更多的時間。 2 刪除重複記錄 最高效的刪除重複記錄方法 ( 因為使用了ROWID)DELETE FROM EMP E WHERE E.ROWID > (SELECT MIN(X.ROWID) FROM EMP X WHERE X.EMP_NO = E.EMP_NO) 3 用TRUNCATE替代DELETE 當刪除表中的記錄時，在通常情況下，回滾段(rollback segments ) 用來存放可以被恢復的信息，如果你沒有COMMIT事務，ORACLE會將資料恢復到刪除之前的狀態(準確地說是恢復到執行刪除命令之前的狀況)，而當運用TRUNCATE時，回滾段不再存放任何可被恢復的信息。當命令運行後，資料不能被恢復。因此很少的資源被調用,執行時間也會很短。 4 計算記錄條數 和一般的觀點相反， count(*) 比count(1)稍快 ，當然如果可以通過索引檢索，對索引列的計數仍舊是最快的。 例如COUNT(EMPNO)…

文 | 秦路 這篇文章主要介紹數據分析該如何做好職業規劃，附有一些學習指導。如果你還想通過一些學習資源提升自己的資料技能，推薦你瀏覽這篇文章： 資料人必備：資料庫，SQL，Tableau，FineReport，Power BI教學資源大全 最近有不少同學在後台問我數據分析的職業發展相關，這裡先列一個簡易大綱。它更多是以我所在的互聯網行業展開的。 入門和職業規劃應該從兩個角度考慮：領域和路線。 領域是不少新人常忽略的要素 其實數據分析不會脫離業務存在，你進入哪個行業，很大程度會決定你初期的技能樹和技能點。譬如金融領域的風控模型、行銷領域的生命周期、廣告領域的點擊率預估等，各有各的特色。 如果是一位準備畢業的大學生，不妨多了解自己感興趣的領域，和專業相關是最好的，並且積累相關的經驗，為面試做準備。 如果已經有一定行業履歷，只是想要轉崗數據分析師，那麼跨崗不跨行，避免跳到一個陌生的領域。 領域經驗太寬泛，我給不了太多的指點，主要也就三點： 1.自己感興趣的，2.自己擅長的，3.有錢途的。 從職場生涯看，成為某領域的數據專家，會是一個更好的籌碼。 數據分析的路線大致可以劃分成四大方向 數據分析，數據探勘，數據產品，數據工程。 數據分析師：都叫數據分析師，其實天差地別 這是業務方向的數據分析師。 絕大部分人，都是從這個崗位開始自己的數據之路，也是基數最大的崗位。 因為基數大，所以這類崗位通常魚龍混雜。有些雖然叫數據分析師，但是每天只需要和Excel打交道，完成leader布置的表格整理工作就行。製作各類數據報表，業務報表，開發報表，最後混個幾年，成為一位數據分析主管，給下面的新人繼續布置Excel任務。 又有一種數據分析師，崗位職責要求你掌握常用的機器學習演算法，面試首先推導一個決策樹或者邏輯回歸。入職後也是各類程式碼，和分析打交道的情況不多。 都叫數據分析師，其實天差地別。 這裡更多指互聯網行業，偏業務的數據分析師，一般屬於運營部門。不少公司也稱數據運營或者商業分析。 這類崗位的職位描述一般是： · 負責和支撐各部門相關的報表； · 建立和優化指標體系； · 監控數據的波動和異常，找出問題； · 優化和驅動業務，推動數據化運營； · 找出可增長的市場或產品優化空間； · 輸出專題分析報告； 實際情況是，不少業務端的數據分析師，主要工作只做第一點。別管它用匯總、分析、數據支援什麼修飾詞，基本是跑SQL，做報表。硬生生活成了業務端的表哥表姐。 這是很常見的情況，也是入門新人的第一個坑。因為從頭到尾，這類分析師，都沒有解決問題。 業務部門往往更關心，某個指標為什麼下跌或者上升。產品的用戶是什麼樣的？怎麼能更好的完成自己的KPI。 以活躍指標的下跌舉例： · 活躍指標下跌了多少？是屬於合理的數據波動，還是突髮式？ · 什麼時候開始的下跌？ · 是整體的活躍用戶下跌，還是部分用戶？ · 為什麼下跌？是產品版本，還是運營失誤？ ·…