文 | 帆軟數據應用研究院 劉傳岑

一、客戶介紹

西南證券成立於1999年，唯一一家註冊地在重慶的全國綜合性證券公司。2009年公司在上海證券交易所掛牌上市，成為中國第九家上市證券公司，重慶第一家A股上市金融機構。目前在全國29個省份設立9家分公司和119家證券營業部，員工逾3400人。公司在做優做強傳統業務的基礎上，持續加大產品服務創新，為各類型客戶提供全方位的證券服務。

為了更好的為公司各業務部門提供決策數據支撐，滿足日益增長的信息化需求，IT部門通過帆軟報表製作與BI商業智慧軟體搭建了企業集團級的業務分析系統，業務分析系統目前掛載了300多個頁面，供公司3000多人訪問，系統月訪問量達1萬次左右。同時業務分析系統與公司OA系統進行了集成，滿足各業務部門人員日常使用需求。

二、合作背景

公司領導層早在幾年前就意識到了數據輔助決策的重要性，IT部門之前採用IBM的Cognos工具進行業務分析系統的搭建，但是由於Cognos在實現營業部樹狀條件和月份條件等常見查詢控制項需求、Excel匯出樣式失真、不支援word匯出以及系統集成一般等功能上的局限性，同時缺乏對數據填報功能的支援，為了滿足日常業務需求場景，在採用Cognos的基礎上引入第三方開源報表框架，以彌補查詢控制項、excel導出、系統集成和數據填報上的功能需求。

這種業務分析系統的開發模式，在業務部門需求逐漸增多的情形下，由於較高的開發門檻和較長的開發周期以及若干功能細節的局限等原因，給IT部門帶來較大的開發壓力，無法及時應對頻繁的需求變更，造成需求方滿意度下降等負面情況。

因此，IT部門一直在尋求技術門檻更低、可操作性更好的工具，能同時滿足業務分析系統的功能應用場景。在經過新的產品選型，綜合產品功能、成熟度、服務支持、集成性等方面，在2016年西南證券和帆軟合作，IT部門一方面將之前開發的報表進行遷移，一方面快速響應業務部門新的需求。

三、 數據中心建設

數據中心建設背景

企業級的業務分析系統，離不開底層數據的支援。隨著公司業務規模的不斷擴大，業務系統的增多，如果直接讓業務分析系統連接各業務系統，一方面會給業務系統帶來壓力，可能影響正常業務的開展，降低業務系統的數據安全性。另一方面為了滿足業務分析場景的需求，需要進行數據的整合，而各業務系統的數據口徑不一致，如果直接把各業務系統的數據取過來使用，會給數據整合帶來麻煩。

與此同時各業務系統多年來積累了大量的歷史數據，包括了客戶的基本信息、交易行為、業務流程等數據，這些數據蘊含著傳統經驗難以尋覓的價值，對於企業而言是一筆寶貴的資源。從公司層面來說，通過數據挖掘，可以去尋找目標客戶、尋找客戶需求、分析業務流程，讓客戶增長更迅速、產品銷售更精準、業務流程更高效。站在企業創新的角度來看，如何利用好這些數據成了助推企業發展的關鍵。

因此為了實現對集團業務數據的管理和應用，需要建立企業級的數據中心。

在技術方面，西南證券的數據化建設起於2013年，公司實施建立了數據中心系統、上線了業務分析系統，合并整合了原有的龍虎榜，同時提供了更多的數據分析和展示。

專案組也形成了持續穩定的數據中心團隊，為公司提供數據平台和數據服務，數據中心團隊目前共計有8人，數據中心支持了公司23個系統數據集中和數據交換，200多個任務，8T數據量。

數據中心體系結構

數據中心整體架構分為數據倉庫和數據分析兩部分，數據倉庫作為數據中心的底層，提供整體業務數據的落地存儲，為數據分析打好地基。數據分析作為數據中心的應用層，通過數據倉庫提供的數據，進行業務相關分析。

數據倉庫目前使用Oracle資料庫，每天夜間通過ETL工具定時自動將數據從各業務系統中增量抽取到貼源層，貼源層作為各業務系統數據的鏡像，只採集數據，不對數據進行處理。採集過來的數據由於數據口徑不一致，無法直接進行數據整合，因此需要將貼源層的數據根據統一的數據標準進行數據清洗，規範欄位名稱、統一數據單位與格式、將清洗後的數據落地到EDW層。DDW層則根據具體的業務分析需要用到的指標，建立指標模型，將EDW層的數據根據指標進行整合。同時根據業務需要建立新的資料庫表，在數據倉庫中將複雜的邏輯運算先處理掉，以減輕前端數據展現時的響應時間。

建設階段

第一階段目標是搭建基礎平台、業務數據集中、滿足基礎報表。實現了以數據中心為核心的數據交互體系,為三方系統及業務部門提供數據服務。在應用上，實現了各業務條線的決策數據、業務報表需求，並建設了後台的任務調度管理平台、數據質量管理平台以及業務報表管理平台等功能，形成了公司級的數據基礎平台和服務平台。

第二、三階段目標是建立數據倉庫、制定數據標準、深入數據應用。基於證券行業設計落地了數據倉庫模型，建設了客戶統一模型，通過身份識別將公司分布在各系統中的客戶信息和標識進行統一和關聯。在數據倉庫的基礎上設計和開發了多維指標層，將客戶、分支機構各主要指標和標籤進行了計算，滿足客戶分析、經營分析、固定報表等。同時形成和發布公司標準《西南證券數據倉庫指標標準》。在數據標準、數據應用、數據治理三個方面上持續建設。面向公司各層級建立多維分析模型和自主分析平台，構成客戶、產品、分支機構、渠道主題分析，滿足自定義分析需求。

四、數據應用場景實例

客戶開戶引流和渠道分析

近年來證券行業隨著與互聯網的結合，證券公司間對零售客戶的競爭越來越激烈，開戶渠道、客戶服務、產品營銷各方面都需要付出極大努力，數據也在其中起到重要作用。比如作為客戶開戶的重要來源的渠道引流，如果對各渠道開戶進入的客戶數據進行分析，就可以看到不同渠道開的客戶質量是不同的，有效戶佔比、人均資產、人均傭金貢獻、客戶地區來源等關鍵信息，都體現了不同渠道的優劣，因此我們就可以擇優選擇渠道重點進行投入，實現引入更優質的客戶以及更高的成功率。另一方面對開戶流程進行分析，又可以發現是流程中哪個開戶環節成功率較低、是客戶流失嚴重的，這樣反過來對我們的開戶流程進行優化，進而提高開戶成功率。

潛在客戶挖掘

通常業務流程上對於潛在客戶尋找、產品營銷是通過對客戶的熟悉程度加以經驗判斷來進行的，這其中數據也可以起到相應作用。例如尋找期權業務的潛在客戶，可以從兩融客戶中通過獲取客戶交易量、日均資產、周轉率、交易頻率等指標，將符合期權業務特點的活躍的、投機性強的客戶集中篩選出來，作為期權業務的潛在客戶進行重點推廣，會產生更好的效果。

業務經營分析

數據在經營管理上也起到舉足輕重的作用，對於業務的開展，通過數據趨勢發現業務發展是否與經營決策相符、找出發展瓶頸，比如某項業務收入或客戶數量的走勢高低，加上與市場行情的對比，尋找出業務發展是由於市場活躍帶動，還是被市場萎靡拖累；再加上市場份額的對比，能更客觀的分析出業務發展的狀況，未雨綢繆，而不會被表面數字所迷惑。比如去年的行情下，公司經紀業務交易量市場份額基本保持穩定、客戶保證金也有小幅增長，但是單獨看開戶市場份額，就會發現公司經紀業務的開戶市場份額全年都低於交易量市場份額，並且在有些月份開戶量也低於市場開戶水平。這體現出了當前的交易份額多數是由存量客戶的交易增長提供的，新增客戶量已經在拖後腿了，新增客戶量應該更加投入，若牛市到來，這部分新增的客戶將產生巨大價值。

五、未來規劃

搭建大數據分析平台

目前客戶每日資產、歷史交易流水、客戶盈虧率計算等較大的歷史表，在做統計匯總、複雜關聯查詢時因數據量和計算量較大，目前類似Oracle關係型資料庫已無法支持高效率查詢。同時傳統的數據倉庫每天需要抽取的數據量越來越大，未來可能會出現第二天上班以後數據未完全抽取過來的情況。因此，未來規劃通過大數據分析平台，提高數據響應的實時性。

多維分析平台直連大數據平台

在大數據平台搭建的基礎上，利用FineDirect大數據直連引擎對接大數據平台，實現大數據量數據的線上自主分析，以及准實時數據分析及監控功能。

大屏應用

在數據底層、業務分析系統逐步完善的基礎上，計劃通過大屏應用，將公司經營層面的各種指標通過大屏的形式進行展現，讓管理層和各業務人員能實時了解公司的整體經營情況。

喜歡這篇文章嗎？歡迎分享按讚，給予我們支持和鼓勵！