應該是全網最全的工具選擇文章？

資料分析有三大問：

如何入門資料分析？
資料分析有哪些工具？
怎麼做資料分析？

關於第一問，想必讀完前面十週入門資料分析文章的同學，應該有大致的認識。如果沒有讀過，這裡是文章傳送門噢：超級乾貨｜十週入門資料分析

今天開始講第二大問題 — — 資料分析工具！

對於資料分析，數據君一直強調核心是業務，透過業務的分析邏輯影射到資料分析的處理邏輯，而資料分析工具則是幫助我們實現結果的手段。

但是，你說工具不重要吧，他又很重要，就像什麼樣的路選擇什麼樣的交通工具，合適的工具能幫我們更快的達到終點。對應資料分析的不同環節，也要選擇不同的工具，甚至選擇更容易上手。今天這篇文章，就是來掃盲工具的。

一、從工具屬性和分析師需求來劃分

在企業中，資料分析師往往分為業務和技術兩類，兩者能力和工作內容有較大區別，對於工具的要求也各有側重。

業務 or 技術
業務類分析師，往往在營運部，市場部，銷售部等，根據服務的業務部門的不同，可能叫資料運營，經營分析，會員分析，商業分析師等名字。因為各個業務線具體考慮的問題不同，分析思路與體系均有不同，所以會有這種區別。日常的工作更多是整理業務報表，針對特定業務做專題分析，圍繞業務增長做需要用到資料的測算、規劃、方案等。

技術類分析師，往往在IT部、資料中心。根據從事的工作環節不同，被分成資料庫工程師，ETL工程師，爬蟲工程師，演算法工程師等角色。在中小企業，往往一個技術小哥通吃這些流程。在大企業，一個標準的資料中心，一般都有資料倉庫、專題分析、建模分析等組來完成資料開發工作，再大的公司，還有專門負責資料治理的小組。之所以有這個區分，是因為生產資料，需要一個多層次的複雜的資料系統。一個數據系統，需要資料採集、資料整合、資料庫管理、資料演算法開發、報表設計幾個環節組合。這樣才能把分散在各處的一點一滴的資料集中起來，計算成常用的指標，展示成各種炫酷的圖表。這裡每一個環節都需要對應的技術支援和人員工作，因此有了不同的崗位。

PS：大家在找資料分析崗時，一定要區分是技術還是業務，和自己的職業傾向是否匹配。

分析師有技術和業務之分，那對應工具也有這樣的屬性側重。

分析類工具
對於初級資料分析師，玩轉Excel是必須的，資料透視表和公式使用必須熟練，VBA是加分。另外，還要學會一個統計分析工具，SPSS作為入門是比較好的。
對於高階資料分析師，使用分析工具是核心能力，VBA基本必備，SPSS/SAS/R至少要熟練使用其中之一，其他分析工具（如Matlab）視情況而定。
對於資料探勘工程師……嗯，R和Python必備，要靠寫程式碼來解決。

程式碼類工具
對於初級資料分析師，會寫SQL查詢，有需要的話寫寫Hadoop和Hive查詢，基本就OK了。
對於高階資料分析師，除了SQL以外，學習Python是很有必要的，用來獲取和處理資料都是事半功倍。當然其他程式語言也是可以的。
對於資料探勘工程師，Hadoop得熟悉，Python/Java/C++至少得熟悉一門，Shell得會用……總之程式語言絕對是資料探勘工程師的最核心能力。
一圖說明問題：

二、從企業資料應用架構來劃分

工具的使用還要看企業的需求和環境。為什麼小企業招資料分析師其實就是Excel做報表，大企業找資料分析是卻是把玩高大上的Python、R？這就要看企業的資料架構。
站在IT的角度，實際應用中可以把資料工具分為兩個維度：

第一維度：資料儲存層 — — 資料報表層 — — 資料分析層 — — 資料展現層
第二維度：使用者級 — — 部門級 — — 企業級 — — BI級

1、資料儲存層
資料儲存設計到資料庫的概念和資料庫語言，這方面不一定要深鑽研，畢竟有專業的DBA。但至少要理解資料的儲存方式，資料的基本結構和資料型別。SQL查詢語言必不可少，精通最好。可從常用的selece查詢，update修改，delete刪除，insert插入的基本結構和讀取入手。

Access這是最基本的個人資料庫，經常用於個人或部分基本的資料儲存；MySQL資料庫，這個對於部門級或者網際網路的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的資料查詢能力。SQL Server2005或更高版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了資料儲存，也包括了資料報表和資料分析了。
DB2，Oracle資料庫都是大型資料庫，主要是企業級，特別是大型企業或者對資料海量儲存需求的就是必須的了，一般大型資料庫公司都提供非常好的資料整合應用平臺。
BI級別，實際上這個不是資料庫，而是建立在前面資料庫基礎上的，企業級應用的資料倉庫。Data Warehouse，建立在DW機上的資料儲存基本上都是商業智慧平臺，整合了各種資料分析，報表、分析和展現。

2、報表/BI層
企業儲存了資料需要讀取，需要展現，報表工具則是最普遍應用的工具，尤其是在國內。過去傳統報表大多解決的是展現問題，如今衍生了一些分析型報表工具，也會和其他應用交叉，做資料分析報表，透過介面開放功能、填報、決策報表功能，能夠做到打通資料的進出，涵蓋了早期商業智慧的功能。
像Tableau、PowerBI、FineBI、Qlikview這類BI（商業智慧）工具，涵蓋了報表、資料分析、視覺化等多層。底層還可於資料倉庫銜接，構建OLAP分析模型。

3、資料分析層
這個層其實有很多分析工具，當然我們最常用的就是Excel。
Excel軟體，首先版本越高越好用這是肯定的。當然對excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作！但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體。

SPSS軟體：當前版本是18，名字也改成了PASW Statistics；我從3.0開始Dos環境下程式設計分析，到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體。

SAS軟體：SAS相對SPSS其實功能更強大，SAS是平臺化的，EM挖掘模組平臺整合，相對來講，SAS比較難學些，但如果掌握了SAS會更有價值，比如離散選擇模型，抽樣問題，正交實驗設計等還是SAS比較好用，另外，SAS的學習材料比較多。
其他還有Python和R，後面還會詳細講。

4、表現層
表現層也叫資料視覺化，以上每種工具都幾乎提供了一點展現功能。但要說企業級最常應用的還是BI，做分析做報告。

這是程式的浪漫，祝大家中秋快樂

文章轉載自公眾號：計算機與網絡安全

文章出處：https://mp.weixin.qq.com/s/ggDlgwZ1N0ZMvcfKtWNYyg

▼▼▼
程式設計師的苦只有他們自己知道
bug，bug，bug，bug，bug，bug……
吃飯時在改bug
走路時在改bug
約會時在改bug
結婚時在改bug
就連上演超級藍血月時還！在！改！bug！
月全食血月+超級月亮+藍月
三景合一的天文奇觀
想想她們上一次組團亮相
是152年前
程式設計師心裡就痛

▼▼▼

一句話，不要成為職場工具人，努力體現自己的業務價值

@李啟方

一個關鍵詞：求同

這裡的求同，是謀求認同，也就是要在短時間內與公司其他人、其他部門建立強聯絡。

資料分析崗跟其他崗位不同，千萬不能一聲不吭的埋頭苦幹，尤其是剛剛入職的時候，很多人都喜歡直接撲在分析崗上，專注於自己的事情，這是萬萬不可取的！

儘快熟悉業務當然是必然要做的，但是沒有做到上面那一點，你的工作絕對不好開展。

先說做法，再說原因：

一來，你要跟業務部門搞好一下關係，主動去向他們求教業務知識，因為你的很大一部分工作都需要業務來支撐和配合（資料分析和業務本來就是相互支撐的工作），有的業務部門對資料分析部門是很仇視的，所以要先搞好關係，平時多去溝通和交流，然後主動求教，或者直接在業務部門待一段時間，瞭解公司的業務流程，有利於你之後資料分析思路的拓展，以後你跟業務部門配合的時候也更順暢。

二來，對於資料部門要維繫好感情，畢竟以後你們是要一起幹活的，一般公司的資料部門包含資料平臺、數倉、資料分析等人員，這些人的工作聯絡是強相關，入職不久的話最好要一一瞭解他們的工作內容和職責，起碼要知道自己以後需要什麼資料，知道找誰。不過資料部門一般都是程式設計師，不擅於平級交流，所以在工作配合上要注意溝通方式。

三來，面對領導要注意時時反饋，向上反饋。不定時地向領導彙報進展。這裡的領導一般就是直接管理你的leader，資料分析本來價值產出就不明顯，如果一直悶聲不吭，leader怎麼知道你做了哪些事呢？嚴重點的，還以為你根本沒什麼用，這是最要命的。所以最好是的辦法就是梳理自己的工作流程，搞清楚leader對於資料工作哪些地方不滿意，然後進行日常彙報，不要指望leader會天天主動找你要工作進展，所以不僅要leader管理著你，你也要學會管理著你的上級。

大體上就這麼多，上面三個就是資料分析崗位直接面對的強關聯人群，跟不同的人有不同的打交道方式，切忌做老黃牛，要不然早晚要滾蛋。

為什麼資料分析崗需要求同呢？

以我為例吧，像我曾經待過的傳統行業，大多數人對資料分析崗就是另眼相看，認為資料分析是面子工程，沒什麼價值產出，做了三五年的資料分析師可能在公司裡都得不到認可，更不用說那些剛進公司的小白了。

不受重視的原因很簡單，人家做生產管理、做銷售什麼的，都有自己的指標，做什麼領導就能看到什麼；資料分析呢，上游做IT和數倉的人覺得太低端，下游做業務、生產的覺得結果沒什麼用，很多領導估計也只是為了做做面子，所以很難被重視起來。

所以我一直說，做資料分析一定要強調業務價值，要時刻給別人看到自己的價值，要不然真的很容易慢慢變成透明崗，無勝於有。

以上就是比較剛進入資料分析行業比較穩妥的立足方式，希望大家的激情不要太高，放下身段踏實學習業務，抬起頭來多跟他人搞好關係，自身時時做好價值產出，是新手比較合適的職場之路。

End

關注數據君的臉書：

我是「數據分析那些事」。常年分享數據分析乾貨，不定期分享好用的職場技能工具。按贊我的臉書，會有豐富資料包贈送唷！

資料分析都已經那麼辛苦了，總不能毀在最後一步吧你說是不是？

@李啟方

我們做資料分析的人，一般在做分析，一半在溝通需求、匯報分析結果，所以如何在與需求方的溝通博弈中不落下風，如何更好說服業務和領導去推動自己的分析結果，對一位資料分析師來說，是尤爲重要的。

包括普通人如果在職場上想要升職加薪，光工作做的好是遠遠不夠的，很多時候，講的好比做的好更重要。記住下面這個等式，在老闆眼中

你的表現=工作成果*匯報技巧

如何把自己做過的事，得出的分析結論，清楚明白地匯報給領導，是一項非常重要的技能。

但這項技能，不是每個人天生就會的，大多數人都需要經過後天刻意的訓練。就像電影 《國王的演講》裏的喬治六世，患有嚴重口喫但在語言訓練師的幫助下最終克服障礙，在二戰前發表鼓舞人心的演講，讓英國國民對即將到來的二戰充滿信心。

作為一名報表開發人員，每次一到月中、月末時，都在為報表絞盡腦汁、加班加點，好不容易弄完的報表還要被老闆嫌棄做得太慢，被業務人員說報表資料不夠準確，相信這也是大多數報表開發人員的煩惱。

一、報表開發人員所面臨的困境

目前來說，就報表開發這一需求，以往或者現在大部分中小型公司的解決辦法是：業務資料儲存在資料庫中 — — 需要資料時IT人員透過sql語句取數 — — 匯出Excel給業務 — — 然後業務人員在Excel中處理資料。

但依賴Excel的操作流程會帶來不少問題：

●資料及時性：Excel裡面的資料儲存在各個業務人員的個人電腦裡，不管是當月彙總還是當日彙總，都會存在一定的時間差；
●重複勞動：隨著企業的發展壯大，下屬部門越來越多，分支機構的很多報表樣式是一樣的，但是因為採用Excel各自統計和彙總資料，於是產生了大量的重複勞動；
●角色許可權：Excel提供了有限的安全性，它只能限制使用者訪問和修改的許可權，但是無法對使用者進行角色的管理，也不能對資料進行級別的訪問限制。
或許這時候有人會說，我們公司資料很雜，就不用Excel，改用開源報表。

現成的開源報表工具如JasperReports 、BIRT比較知名，下面我們一一述說他們的問題。

使用開源報表所面臨的問題：

●技術要求高：對人員能力要求高，一般是程式設計師才會使用開源報表，但須知這類人員的人力成本；
●運維功能差：技術服務無保障，若專案中出現bug，開發者只能嘆息了，專案風險很大；
●功能不全：功能整體較弱，若是專案需求有變更，專案開發者將陷於進退兩難境地，此外開源報表功能薄弱，所實現的效果、展現的功能較收費軟體差距較大。
經過上述分析後發現，Excel處理量低、資料不統一，開源報表技術要求高、難運維，那到底什麼樣的工具能夠滿足報表開發人員開發效率高+易運維的需求？

怎麼樣的的網站算是大型網站？下面帶你了解~

大型網站的特點：

●高併發、大流量：需要面對高併發使用者，大流量訪問。
●高可用：需要7 x 24小時不間斷服務。
●海量資料：資料需要儲存、管理，需要大量伺服器。
●使用者分步廣泛、網路情況複雜：全球網路複雜，像國內還有各個運營商網路互通難的問題。
●安全環境惡劣：網際網路開放性，使得網站易受到攻擊。
●需求快速變更，釋出頻繁：快速迭代。
●漸進式發展：從小網站開始，逐漸發展成大站點。

大型網站的主要技術挑戰

龐大的使用者，高併發的訪問和海量資料。任何簡單業務在處理PB級資料或數以億計的使用者時，問題就會變得棘手。

大型網站架構的演化過程

初始階段的網站架構

文章來自微信公眾號：杰哥的IT之旅

文章链接：https://mp.weixin.qq.com/s/nUFQRoSynvJToOg-h9Awrg

談談 T-SQL 中的 Window Function

常有朋友問，資料分析師的SQL功底該學到什麼程度。今天就先談談 T-SQL 中的 Window Function.

Window Function 包含了 4 個大類。分別是：

1 — Rank Function
2 — Aggregate Function
3 — Offset Function
4 — Distribution Function.

1 — Rank Function 平常用到最多

1.1 Rank() Over()
1.2 Row_Number() Over()
1.3 Dense_Rank() Over()
1.4 NTILE(N) Over()

這四個函式，要注意的地方有兩點：

a. Rank() Over() 與 Row_Number() Over() :

兩者唯一的區 …