數學是人類的高階思維活動,越往頂層走,需要的各種思維能力就越多。觀看數學紀錄片就是個絕佳的選擇,既形象又有趣。這裡有10部頂級數學紀錄片,無論作為興趣啟蒙,還是培養數學思維,絕對值得觀看和收藏!

來源| 數學加油吧

NO.1 數學的故事(The Story Of Maths)

歷史上最聰明的人為何對數學如此痴迷?


導讀:大資料時代,資料分析已經是每個行業成果的必經之路了,更是職場核心競爭力之一,它可以幫助我們找出真實世界的規律,輔助我們進行決策和驗證。透過資料表象,看到背後的本質,發現問題,給出解決方案。

例如,分析整體銷售的業績,面對一堆雜亂無章的資料來源表時,要讓銷售人員看到自己的業績情況,發現不足,及時改進。我們就需要展示每個銷售人員的業績,不僅能和歷史業績對比,還能和其它銷售業績進行橫向、縱向的比較。

這時,我們若熟練掌握Excel使用以及函式,幾分鐘就能完成,而別人也許倒騰1天的工作量哦。

可見,Excel的使用對於資料分析的重要性不言而喻!咱們今天來簡單的梳理一下資料分析必備 — — Excel中常用的統計函式。本文所有公式需均結合例項,講為輔,練為主,基礎紮實夥伴可以直接跳過,其他夥伴可以當做回顧和複習。

01、計算公式

在Excel我們經常會遇到計算,計算公式其實很簡單,‘=’後面加對應的函式,並取函式的引數就可以了,以下圖的資料為例,我們來計算每件商品的銷售利潤,我們知道,銷售利潤=(售出單價-成本價)*銷售數量,那我們在Excel中怎麼列計算公式呢?其實很簡單,把對應的值進行轉換就行了,操作看下圖:


作為資料分析師,無論最初的職業定位方向是技術還是業務,最終發展到一定階段後都會承擔資料管理的角色。因此,一個具有較高層次的數據分析師需要具備完整的知識結構。

那作為一個十年以上的資料分析從業人,想和你們分享數據分析的流程。主要分七個步驟,遵循這種方法,一個完整的數據分析專案就出來了。

1. 資料獲取

瞭解資料獲取的意義在於真正瞭解資料的原始面貌,包括資料產生的時間、條件、格式、內容、長度、限制條件等。這會幫助資料分析師更有針對性的控制資料生產和採集過程,避免由於違反資料獲取規則導致的資料問題;同時,對資料獲取邏輯的認識增加了資料分析師對資料的理解程度,尤其是資料中的異常變化。

比如:
Omniture中的Prop變數長度只有100個字元,在資料獲取部署過程中就不能把含有大量中文描述的文字賦值給Prop變數(超過的字元會被截斷)。

在Webtrekk323之前的Pixel版本,單條資訊預設最多只能發送不超過2K的資料。當頁面含有過多變數或變數長度有超出限定的情況下,在保持資料收集的需求下,通常的解決方案是採用多個sendinfo方法分條發送;而在325之後的Pixel版本,單條資訊預設最多可以發送7K資料量,非常方便的解決了代碼部署中單條資訊超載的問題。(Webtrekk基於請求量付費,請求量越少,費用越低)。

當使用者在離線狀態下使用APP時,資料由於無法聯網而發出,導致正常時間內的資料統計分析延遲。直到該設備下次聯網時,資料才能被發出並歸入當時的時間。這就產生了不同時間看相同歷史時間的資料時會發生資料有出入。

在資料獲取階段,資料分析師需要更多的瞭解資料生產和採集過程中的異常情況,如此才能更好的追本溯源。另外,這也能很大程度上避免「垃圾資料進導致垃圾資料出」的問題。

2.資料存儲

無論資料存儲於雲端還是本地,資料的存儲不只是我們看到的資料庫那麼簡單。

比如:

資料存儲系統是MySql、Oracle、SQL Server還是其他系統。
資料倉庫結構及各庫表如何關聯,星型、雪花型還是其他。
生產資料庫接收資料時是否有一定規則,比如只接收特定類型欄位。
生產資料庫面對異常值如何處理,強制轉換、留空還是返回錯誤。
生產資料庫及資料倉庫系統如何存儲資料,名稱、含義、類型、長度、精度、是否可為空、是否唯一、字元編碼、約束條件規則是什麼。
接觸到的資料是原始資料還是ETL後的資料,ETL規則是什麼。
資料倉庫資料的更新更新機制是什麼,全量更新還是增量更新。
不同資料庫和庫表之間的同步規則是什麼,哪些因素會造成資料差異,如何處理差異的。

在資料存儲階段,資料分析師需要瞭解資料存儲內部的工作機制和流程,最核心的因素是在原始資料基礎上經過哪些加工處理,最後得到了怎樣的資料。由於資料在存儲階段是不斷動態變化和反覆運算更新的,其及時性、完整性、有效性、一致性、準確性很多時候由於軟硬體、內外部環境問題無法保證,這些都會導致後期資料應用問題。

3.資料提取

資料提取是將資料取出的過程,資料提取的核心環節是從哪取、何時取、如何取。

從哪取,資料來源 — — 不同的資料來源得到的資料結果未必一致。
何時取,提取時間 — — 不同時間取出來的資料結果未必一致。
如何取,提取規則 — — 不同提取規則下的資料結果很難一致。


面試官常問的資料庫問題 1–10

1. 觸發器的作用?
2. 什麼是儲存過程?用什麼來呼叫?
3. 索引的作用及優缺點是什麼?
4. 什麼叫檢視?遊標是什麼?
5. delete、drop、truncate 區別
6. 如何進行 SQL 最佳化?
7. MySQL 中的 varchar 和 char 有什麼區別?(重點)
8. 在哪些情況下會發生針對該列建立了索引,但是在查詢的時 …


1:Crash Course 中文字幕組:crashcourse.club/catego

Crash Course 中文字幕組是一個翻譯了幾百集國外高質量影片課程的免費學習網站;它的影片課程全部來自國外,質量非常高,並且網站全部翻譯成了中文字幕,讓你學習起來非常輕鬆。

它的影片課程種類非常豐富,並且進行了詳細的分類,包括:文學、社會學、學習技巧、美國 …


大家好,做運營的小哥哥小姐姐們,經常要做各種彙報ppt。其中怎麼畫圖表,經常是很糾結的一件事。現在來說說資料視覺化的基本技巧。

Q1:什麼是資料視覺化?

A1:就是把資料做成圖表的形式,更容易讓人看。舉個簡單的例子,比如今日門店營業額10000元。如果單純寫數字,就是10000萬,但做成圖的話,可以表示成(如下圖)

Q2:看起來似乎很多此一舉呀,為什麼要做視覺化?

A2:如果只看上邊的例子,確實沒有必要做視覺化,因為只有一個數字,看資料會更簡單。但是數字多了,做視覺化就很有必要。

比如:想用今天的營業額和昨天的做個對比。如果用文字描述,就是:今日營業額10000元,昨日12000元,今天比昨天少2000

如果畫成圖,則一眼就看的很清楚:今天比昨天少2000(如下圖)


自己從事資料工作多年,幹過大多的資料崗位,成為管理者後,也帶過很多的人,關於各類資料崗位人才的關鍵素質,自己也形成了一套看法。

正如智商是多基因作用的結果一樣,要成為某類資料崗位的人才,肯定也是多因素決定的結果。

但每類資料崗位還是有其特定要求,而能適配這些特點的人更能在這些崗位脫穎而出,我這裡就結合自己的實踐,談談五類崗位最關鍵的要求和各自工作內容的區分。

圖片來源於leecode

資料分析師最關鍵的素質,是要有“下立地,上頂天”的氣質。

“下立地“就是要接地氣,要有足夠的取數實踐,具備較強的業務和資料敏感性。

很多合作伙伴的大牛深諳資料分析的討論,方法論牛逼,PPT寫得很好,但一般實操還是不行,主要的制約因素就是資料能力,資料分析工作一般不會外包,主要在於外包人員很難長期的“接地氣”。

資料理解能力不是說你知道有這個表和這個欄位就可以了,也不是看看資料字典就可以了,而是要能知其所以然,要能追根溯源資料是怎麼來的,要能知道這個資料是否真實的反映了業務的實際狀況。

同樣一個業務口徑,往往可以採取多種資料口徑,而要辨析清楚這個差別,選擇到最適合的,一定要有足夠的取數實踐。


資料分析是對業務進行流程梳理、指標監控、問題診斷和效果評估,以便實現決策支持的行為。資料分析可以實現精細化管理,用數據驅動決策,資料分析師在團隊中的作用相當於軍師和智囊團。

資訊化時代,人人都可以是資料分析師,形成資料分析思維,會潛移默化的給我們帶來很多正向影響。

1)從職業發展來看,形成資料分析思維會幫助你更全面的瞭解公司業務流程

在日常工作中,我們往往會侷限於工作的某個模組,比如業務人員會更瞭解產品、開發人員會更瞭解App、財務人員會更瞭解公司的經營情況。而資料分析師需要透過資料去定位問題,透過定位的問題去鎖定產生問題的環節,並進一步將監控的異常指標劃分到部門,給出可以解決問題的建設性意見。這一工作性質決定資料分析師會更瞭解公司的整個業務流程及經營情況,基於對公司業務流程的全面瞭解,才能做出有價值的分析報告,更有效的解決實際業務問題。

2)從生活習慣來看,形成資料分析思維會幫助你科學的分配時間、培養建模意識

在生活中,每個人都會遇到時間不夠用的情況,隨著年齡的增長,分散我們精力的事情越來越多,這一現象會更加的突出。形成資料分析思維可以幫助我們更科學的去分配時間,用資料去記錄時間成本和產出,分析有效時間和無效時間佔比,把事情劃分成重要緊急、重要不緊急、不重要緊急、不重要不緊急,從而科學合理的分配時間。

資料分析思維也會幫助我們培養建模意識,培養建模意識對我們來說是至關重要的,普通的人改變結果、優秀的人改變原因、頂級優秀的人改變模型。當然,並不是只有資料分析的工作會培養你的建模意識,只是資料分析師經常會需要用一些分析框架和模型去發現問題、解決問題,從而更容易培養出建模意識。

3)從個人素養來看,會幫助你提升商業洞察力、邏輯思維能力

資料分析思維會提升我們的商業洞察力,思考問題會習慣性的對應到商業模式畫布的四要素:給誰、給什麼、怎麼給、給的結果,更容易看到事務的本質。

資料分析思維也會提升我們的邏輯思維能力,主要是閉環和分類的思維模式帶來的正向影響。資料分析師在遇到問題的時候大多從問題是什麼、由什麼原因導致、如何解決這個過程去思考,閉環的思維模式會使邏輯更具條理性。同樣,分類思維模式也能提升邏輯思維能力,在遇到問題時,先分類、再按分類影響因素重要度算佔比、最後清晰的找到問題關鍵點所在,真正做到抓主要矛盾。

資訊化時代人人都可以是資料分析師,但並不是每個人都可以成為優秀的資料分析師,想成為一個優秀的資料分析師需要具備:知識、技能、能力。


作為一個在IT行業摸爬滾打多年的老油條,剛進某東公司做程式開發時工資只有不到一萬,當時公司的資料倉庫非常原始,基本上都靠一個人寫SQL花了三年才完成。

雖然不同於其他程式設計師擰螺絲的工作,但我們部門卻因為月薪問題常常風雨飄搖,身邊的同事換了一批又一批,本來以為作為老人的話能夠倖免,結果堅持了三年工資單還是沒有變化。

後來我也實在忍受不了了,就轉行去做了報表開發,工資直接漲了一倍,而當時的我靠著一手SQL技術成功成為了公司的紅人,變成了一名“表哥”(專業做報表人士的稱呼)。

其實不管是做報表,還是做資料倉庫的工作,本質上都是解決公司的資料需求,像我寫SQL也是為了統一資料介面,把報表平臺與資料倉庫結合起來做。

不管是IT還是業務人員,做報表開發無非就是為了解決兩個問題:

1. 報表口徑不一致,無法追蹤源表的問題

2. 資料庫的效能不夠,報表實時更新困難

所以基本上有資料積累的公司,都會選擇用報表系統去處理報表需求,並用完整的報表解決方案來處理公司的報表資料痛點

現在的報表和BI市場簡直就是百花齊放,國外國內的都有,你要讓什麼都不懂的人去挑選,可能面臨的結果就是幾個月之後再次調研,所以應該去朝最頂級的企業看齊,比如傳統企業看國企,網際網路企業看阿里騰訊等。

1、簡單的SQL都能用

那就是用FineReport,一個低程式碼報表工具,說是報表開發者的福音,一點都不為過。

●可以完成從資料庫取數(有整合資料功能) — 設計報表模板 — 資料展示的過程●類似excel做報表,三種報表設計模式支援製作各類中國式複雜報表一張模板配合引數查詢可以代替幾十張報表●資料填報系統加上決策平臺的支援,提供資料上報,流程審批,許可權管理的一系列功能,可以靈活應對運營、人資、財務、合同等多變的業務需求

动图

2、資料展現

報表的資料展示是非常重要的,如果不看資料架構,只看圖表的多樣性和佈局,FineReport的視覺化程度是相當高的,效果非常的炫酷:

數據分析那些事

這是一個專注於數據分析職場的內容部落格,聚焦一批數據分析愛好者,在這裡,我會分享數據分析相關知識點推送、(工具/書籍)等推薦、職場心得、熱點資訊剖析以及資源大盤點,希望同樣熱愛數據的我們一同進步! 臉書會有更多互動喔:https://www.facebook.com/shujvfenxi/

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store