對於想入資料行業的朋友來說,資料分析、資料科學、資料工程真的是傻傻分不清楚?自己到底適合哪個崗位?哪個崗位更有就業前景,能獲得更多的錢?今天這篇文章就徹底講清楚。
01 資料分析師 Data Analyst
工作內容:
DA側重分析與報告,簡單來說就是透過整合處理資料來分析問題,得到業務洞察和決策。雖然大部分時候,DA只是資料行業中的“初級職位”,但並不是所有DA只能勝任入門級的任務。
具體流程:
DA首先要理解使用者需求,然後用SQL將相關資料從資料庫中提取出來,之後就使用分析工具,如Excel, FineBI, Tableau, Python等對資料進行整合、分組、對比、做指標、特徵提取等處理,進而對資料進行分析,最後將結果做成dashboard彙報展示給主管和業務。
常用軟體:
Excel,SQL,Tableau,Power BI,FineBI,Python,PPT。
知識技能:
不需要太多的數學和程式設計知識,要會SQL和視覺化的工具,有的工作也需要一些Python,基本的統計知識也需要知道一些。溝通能力和商業理解力很重要。
02 資料科學家 Data Scientist
工作內容:
DS和DA相似,基本的工作流程差不多,仍然需要對資料進行清洗、分析和視覺化處理。但DS在技術方面有更深的研究,他們在分析時會常會使用專業知識構建機器學習模型並訓練與最佳化,再以此做出預測並對關鍵業務問題進行解答。如果資料量大還會用到Spark做分散式計算。
以下是資料科學家所做工作的示例:
- 評估統計模型以確定分析的有效性。
- 使用機器學習構建更好的預測演算法。
- 測試並不斷提高機器學習模型的準確性。
- 構建資料視覺化以總結高階分析的結論。
常用軟體:
Python,R,SQL,Spark,cloud,Git
知識技能:
數學統計知識要求較高,除了理解各種機器學習模型外,還需要理解微積分線性代數,機率分佈,假設檢驗,AB Test等。
程式設計能力是必備,並需要熟練使用各種機器學習包。除此之外,SQL也是基礎。會spark更好,不會也可以現學。和DA一樣,溝通能力和商業理解能力很重要。
DS為理解資料帶來了全新的方法和視角。雖然DA可能能夠描述趨勢並將這些結果轉化為商業術語,但DS將提出新的問題,並能夠構建模型以根據新資料進行預測。
03 資料工程師 Data Engineer
工作內容:
這跟前兩個區別很大,更像軟體工程師。DE主要負責獲取、轉換及儲存資料,把凌亂的原始資料轉換成乾淨可用的資料並存儲至資料庫,並保證其他使用者對資料的可訪問性。DE是系統的構建者與最佳化者,DA和DS在DE所建立的基礎上才能最大程度發揮自己的作用。
以下是資料工程師工作示例:
- 將外部或新資料集整合到現有資料管道中。
- 在新資料上應用機器學習模型的特徵轉換。
- 持續監控和測試系統以確保最佳化效能。
常用軟體:
Python,SQL database,Data lake/warehouse,Spark,cloud,devops
知識技能:
對各種系統、架構等要有充分理解,程式設計要求高。
PS
由於資料分析師、資料科學家和資料工程師都是外文DA、DS、DE的直譯,在國內的招聘軟體上,他們還會對應不同的崗位。以招聘軟體上的崗位為例,資料分析師就是DA,資料探勘屬於DS,ETL工程師、資料倉庫和資料開發是屬於DE。除此以外,還有其他不同名稱的崗位,大家可以更具崗位JD來詳細瞭解企業具體招聘的是什麼樣的資料人才。
04 三者是如何配合工作的
DE的重心在後端,他們需要持續最佳化資料通道,以確保組織所依賴的資料準確可用。他們會利用各種不同的工具來確保資料得到正確處理,並確保在任何時候使用者都可以順暢地使用正確的資料。一個好的DE可以為企業的其他成員節省大量的時間和精力。
DA使用DE所構建的自定義介面來提取新的資料集,並對其中的資料趨勢進行識別,同時對異常資料進行分析。分析師們將會對結果進行總結,並以一種清晰直觀的方式來展示這些結果,以便於其它非技術團隊能夠更好地瞭解他們目前的工作效果。
最後,DS將會在DA分析得出的初步結果上進一步深入研究,以瞭解更多可能的情況與有價值的資訊。無論是透過訓練機器學習模型,還是利用高階統計分析技巧,DA都將對未來進行預測,並提供全新的洞察視角。
文章來源:數據分析不是個事兒
原文連結:https://mp.weixin.qq.com/s/uh67fPAeirl6S4WhRk8YmA
※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※
我是「數據分析那些事」。常年分享數據分析乾貨,不定期分享好用的職場技能工具。各位也可以關注我的Facebook,按讚我的臉書並私訊「10」,送你十週入門數據分析電子書唷!期待你與我互動起來~
文章推薦
◆跟資料打交道的人都得會的這8種資料模型,滿足工作中95%的需求
回顧十週入門數據分析系列文:
關注數據君的臉書:
我是「數據分析那些事」。常年分享數據分析乾貨,不定期分享好用的職場技能工具。按贊我的臉書,會有豐富資料包贈送唷!