原創 IT技術管理那些事兒
看到文末,你不會對這篇超實用的文章失望的。
我是一名算法工程師,在某個大工廠工作….
但是工作了大半年,我發現我的算法技能沒有增加多少,反而sql的水平提高了很多,因為一天到晚都在寫,感覺自己就是一個BI/報表哥,而且我還經常安慰自己:業務第一,取數要緊…
雖然總不能把代碼叫數據探勘,用SQL,Excel叫數據分析,只要能解決問題就好,但我的心裡總是過意不去,我一算法工程師為什麼會去做報表?
同樣的,我發現別人也有這樣的問題:
同樣的,也會有人懷疑BI、報表這個崗位的未來在哪裡:
以前做大數據平台還好,也可以上手弄Hadoop、Spark、Storm、Flink以及Kafka等集群,但是做了BI和報表之後,除了sql和ETL,我什麼也做不了。
其實這件事很好解決,不能看你的title,這個崗位分化極大,而是看你想完成什麼事情,以什麼手段去完成這些事情。
我曾經也在大型企業搭建過數據中心,從項目規劃到技術選型都投入很大精力,日吞吐上千個G,存量達到2個pb,剛開始也經常被業務噴,現在得到了認可。
我是從哪幾個方面去做的呢?
1、規劃項目架構
我們需要在每個時間段規劃出這個項目所要達成的目標,比如一開始是手工報表,那我們有了數據倉庫和大數據平台之後,就應該變成自動化的報表。
有了Hadoop之後,我們的目標應該是OLAP分析,規劃做大一點總是對的。
這裡的框架主要聚焦於企業內部,對於企業內的不同團隊、部門乃至於子公司,打通期間的數字藩籬,讓數據在企業內部以同樣的標準流動起來。
2、組建屬於自己的數據團隊
很多數/商分部門負責人上來以後意氣風發,會立下Flag:數據驅動業務發展/360度數據視圖/管理駕駛艙等等高大上的里程碑。
我負責任的告訴大家,要是這麼立就死定了。
要知道,傳統企業的數據收集比互聯網要複雜的多,光是把所有收集數據的源頭理清楚,從各個渠道(財務系統、ERP系統、手工報表、自開發系統)把數據都要整合到一個數據倉庫裡就是超超超大量的工作,ETL要做到吐血。
建立團隊要慢慢來,先找到能有快速產出的事情,再慢慢做困難的事情,比如老闆需要幫他做業務實時數據看板,很簡單的需求:就是實時,Excel做不到。
這部分業務數據當時系統已經是現成的了,只是報表都是T+1出,於是我通過技術手段把T+1變成T+0,實現過程沒那麼複雜,這得到了認可,於是我才有時間和資源去做剩下的事情。
3、選擇合適的報表和BI工具
到這一步,大數據平台基本算是搭建好了,拋開基礎架構不談,我們來看看應用層,這也是前端人員最容易接觸到的東西,評價好不好全都看這些。
這絕不僅僅是IT系統的建設和升級,但卻離不開IT系統的支撐。除了企業使用的管理和生產軟件外,我們還需要自動化、實時的大數據分析工具幫助我們處理大量的數據。
在這裡我推薦FineReport,它的定位是報表工具,但是也能解決很多報表之外的事情,比如:視覺化大螢幕、大數據分析。在數據應用層,有這麼一個工具就夠了,更大的公司或許會用讓業務人員用到BI做更細緻的分析,也是可以的。
有了FineReport,從mysql建表、數據導入、製作日報、週報、月報,各種對比報表就會被逐一攻破,你以前都是用Excel,數據收集一定很麻煩吧,而且還要擔心口徑不統一的問題。
而IT只需要向各業務部門的負責人收集數據,然後花幾分鐘導入數據庫,然後點點滑鼠,生成各種報表即可。
其實如果你想要更好的利用報表,數據倉庫是離不開的。如果本身沒有後端數據倉庫,宣稱自己是內存BI,實際用起來對硬件要求極高,對於超千萬條的數據分析,必須藉助於其他ETL工具處理好數據再進行前端分析。
FineReport和數據倉庫的關係:
一、數據倉庫前端應用展示工具,位於數據應用層,主要解決報表展示問題
二、在規劃報表體系的時候,能梳理數據指標、數據字典等
三、finereport填報能解決一部分數據補錄問題
四、finereport能整合數據(數據接口能力,豐富的API接口,能對接各種大數據平台和數據庫)
其他就是finereport的面向IT的開發優勢,太多了,這裡就先略過了,文中提到的都是。
如果你的老闆一直給你提到,能不能給他整一個數據駕駛艙,而他現在只能看見財務部、運營部的Excel表格,覺得很low,看見高顏值的可視化駕駛艙也想擁有。
這時候,IT人員就可以通過FineReport做出來,實時展現插件不能滿足,需要後台對數據庫頻繁請求,後台可用java開發,在需要數據的時候觸發前台的ajax往後台發命令獲取數據。
帆軟FineReport 的大螢幕展現是這個原理,自身直接連數據庫,展示可用自帶圖表也可以集成Echarts、Hightchart插件。
關注數據君的臉書:
我是「數據分析那些事」。常年分享數據分析乾貨,不定期分享好用的職場技能工具。按贊我的臉書,期待你與我的互動!