無論公司規模或行業如何，將高績效企業與不太成功的企業區分開來的一個共同特徵是：高品質的決策。越來越多的決策由資料驅動。從一線營運部門到高階管理團隊，資料分析有助於消除企業各級決策過程中的猜測。
但原始資料本身提供的價值有限。當企業將資料轉化為易於視覺化和解釋的資訊時，資料對決策的價值呈指數級增長。資料本身也必須是高品質的 — — 乾淨、一致和正確。確保資料可以轉化為可操作的見解的責任落在了資料管理團隊的肩上。
01 為什麼有效的資料管理團隊對企業很重要？
資料管理是一種專注於有效管理企業資料資產的實踐。從資料建立和收集到在整個企業中有效使用資料，管理資料需要廣泛的角色和職責。在較小的企業中，一名 IT 專業人員通常承擔多個角色。但隨著資料管理工作量的增長，企業通常會將這些活動分配給一個團隊。
如果沒有熟練的資料管理團隊，企業可能會發現自己擁有低品質的資料，這些資料會阻礙戰略規劃、業務營運以及有助於為決策制定提供資訊的 BI、報告和資料科學應用程式。例如，錯誤、不一致和其他資料問題可能會扭曲操作操作和分析結果。獨立的資料孤島對不同部門的使用者隱藏相關資料。最終，從資料集中獲得預期的商業價值成為一個巨大的挑戰。
02 資料管理團隊的目標和總體職責
資料管理團隊的主要目標是確保企業資料資產滿足業務需求和使用者的資訊需求。為實現這一目標，該團隊努力使資料可供計劃用途使用和訪問，並確保其準確、可靠且組織得當。該團隊還結合來自不同系統的資料集，讓使用者全面瞭解營運、客戶、財務業績和其他業務領域。
在高級別上，資料管理團隊的職責包括以下內容：
🔺管理資料庫、資料倉庫和其他資料儲存庫；
🔺開發資料架構，以記錄資料資產和對映資料流；
🔺資料建模，以建立資料結構圖和相關業務規則；
🔺資料品質管理，以識別和修復資料集中的問題；
🔺資料整合工作，將不同的資料集整合在一起；
🔺資料工程，包括在源系統和目標系統之間構建資料管道。
許多資料管理團隊也進行資料分析，同時處理 BI 和高階分析應用程式，而不是讓這些功能成為單獨分析團隊的一部分。
03 資料管理團隊包括的 10 個角色
現在，讓我們看看最常見的資料管理角色及其職責。不過，值得注意的是，企業的規模及其收集和儲存的資料量將影響如何將資料管理職責分配給不同的人員。
此外，IT 部門為企業部署的技術將影響其中一些角色所涉及的特定活動。儘管如此，儘管資料管理團隊成員所做的工作可能因所使用的平臺而異，但此處概述的核心職責在所有技術和產品中都是通用的。
1、資料庫管理員-Database administrator
正如職位名稱所示，資料庫管理員 ( DBA ) 負責管理企業的資料庫。無論管理員支援哪種特定的資料庫管理系統 ( DBMS ) 平臺，DBA 的核心職責都是相同的：系統可用性和資料庫效能、安全性、監控和恢復。
除了後端支援職責外，DBA 還確保資料得到有效組織和儲存。對於需要預定義模式的資料庫，他們與應用程式開發人員和資料管理員一起設計和建立用於儲存資料的物理物件；它們還索引結構和邏輯物件以提供高效的資料庫訪問。DBA 的其他任務包括建立使用者帳戶和分配訪問許可權，以及幫助開發人員和終端使用者除錯和最佳化應用程式。
隨著 DBA 工作量的增加，企業通常將功能分離到單獨的系統和應用程式支援角色中。系統 DBA 負責支援後端 DBMS 基礎設施，而他們的應用程式 DBA 同行則處理平臺內的資料和物件，並協助開發人員和使用者。資料倉庫 DBA 是另一個專門角色。
DBA 的主要職責包括：
🔺獲得企業後端資料庫系統的管理所有權。
🔺在整個生命週期中組織和維護資料庫資料。
🔺幫助應用程式開發人員和終端使用者進行除錯和資料訪問。
2、資料管理員-Data administrator
資料管理員從業務和技術角度檢視資料，並與終端使用者和開發人員互動以定義、描述、組織和分類資料集。例如，資料管理員的標準做法是採訪業務使用者以確定他們與之互動的資料並瞭解它如何應用於企業。
利用這些資訊，資料管理員可以根據資料集的業務含義、不同資料元素之間的關係以及管理資料的業務規則來構建資料模型。建模建立了一個框架，使不同的業務部門能夠共享及時和準確的資料。資料管理員還為資料元素制定命名約定、儲存定義和業務規則約束。
在沒有資料治理團隊的企業中，資料管理員通常會帶頭制定和實施旨在確保資料安全、品質和正確使用的治理政策、程式和最佳實踐。
資料管理員的主要職責包括：
🔺幫助業務部門定義、組織和分類資料並記錄相關的業務規則。
🔺建立和維護概念、邏輯和物理資料模型。
🔺建立和維護資料管理和治理最佳實踐。
3、資料建模師-Data modeler
儘管資料管理員通常負責資料建模，但許多企業 — — 尤其是大型企業 — — 為該活動建立了一個特定角色：資料建模者。在這種情況下，資料建模人員處理構建概念、邏輯和物理模型的過程，這些模型成為企業資料儲存的基礎。
這是一個重要的角色：與建模資料元素互動的所有後續開發和管理流程的品質完全取決於初始邏輯設計和物理實現的品質。此外，資料建模師不斷更新和修改模型，以隨著企業中資料集和業務需求的變化使模型保持最新。
資料建模師的主要職責包括：
🔺與資料管理人員和業務使用者合作，收集設計和記錄資料模型所需的資訊。
🔺使用建模工具構建概念、邏輯和物理資料模型。
🔺開發最佳實踐以確保資料模型的持續一致性並驗證它們與不斷變化的業務營運的關係。
4、資料架構師-Data architect
資料架構師是一個高階職位，通常在整個企業中工作。資料架構師通常擁有高階技術學位並且對業務有深刻的理解。他們負責開發資料架構，這是企業資料管理框架的藍圖。許多人還幫助選擇最能滿足應用程式業務和技術需求的資料平臺和系統。
因此，資料架構師需要與當前和新興技術保持同步。除了架構技能外，資料架構師通常還擅長系統和資料庫設計以及資料建模，並且他們通常對系統開發生命週期模型和專案管理最佳實踐有深刻的理解。
資料架構師的主要職責包括：
🔺在企業級為組織的資料管理框架開發和維護架構藍圖。
🔺瞭解最新的資料管理、儲存和處理技術。
🔺幫助業務使用者和 IT 人員選擇和實施系統。
5、ETL開發人員-ETL developer
整合資料集、將它們從源資料型別轉換為不同的目標資料型別、清理資料並應用業務規則對其進行標準化可能是一個複雜的過程。因此，許多企業建立了一個單獨的資料整合角色，專注於提取、轉換和載入 (ETL) 處理。ETL 開發人員是最常見的職位，但在某些情況下也使用資料整合開發人員和資料整合工程師。
這個角色通常涉及將資料從源系統載入到資料倉庫中；它還可以包括為操作應用程式整合不同的資料來源。用於清理和標準化資料的程式碼可以從 ETL 工具中內建的簡單引數化過程到複雜的程式設計邏輯。資料轉換需要 Python、Perl 和 SQL 等程式語言的知識，ETL 開發人員還必須對資料分析和資料訪問技術有深入的瞭解。可能還需要了解除 ETL 之外的其他資料整合方法。
ETL 開發人員的主要職責包括：
🔺使用 ETL 工具從源系統中提取和處理資料並將其載入到目標系統中。
🔺進行資料清理和驗證，以確保資料品質水平滿足要求。
🔺建立 ETL 和其他資料整合過程的文件並根據需要進行更新。
6、資料品質分析師-Data quality analyst
企業產生的資料比以往任何時候都多。因此，建立和維護高水平的資料品質是許多企業面臨的持續挑戰。資料品質分析師負責識別錯誤、異常和其他缺陷，這些缺陷會損害資料品質，並最終影響其對企業的商業價值。
他們從資料品質的各個方面評估資料集，例如準確性、完整性、一致性、一致性和重複資料的缺失。一旦發現數據問題，資料品質分析師就會努力解決這些問題，以提高資料可靠性並確保終端使用者能夠訪問可信資料。該角色通常還涉及跟蹤資料品質指標和對使用者進行最佳實踐教育，以幫助提前預防品質問題。
資料品質分析師的主要職責包括：
🔺識別資料問題並確定其嚴重性和業務影響範圍，以幫助規劃資料品質改進計劃。
🔺採取必要的步驟來修復不正確的資料值和其他問題，並解決其根本原因。
🔺為終端使用者建立資料品質指南和最佳實踐，以最大程度地減少未來出現的問題。
7、資料工程師-Data engineer
資料工程師是IT行業的資料傳輸和儲存專家。他們負責將資料行動到分析資料儲存中，並準備好供應用程式開發人員、資料科學家和其他分析師使用。為此，資料工程師使用的軟體範圍從專注於將資料從一個系統行動到另一個系統的資料管道產品到更高階的 ETL 工具。
資料工程師必須對資料倉庫和大數據平臺及其儲存資料的方式有深入的瞭解。此外，該職位還需要了解能夠訪問大數據系統的 API 以及資料管理和分析最佳實踐方面的應用知識。由於資料工程師負責在整個企業中行動大量資料的管道，因此他們還需要效能監控和故障排除方面的專業知識。
資料工程師的主要職責包括：
🔺構建從源系統檢索資料的資料管道，根據需要對其進行標準化和轉換，並將資料載入到目標系統中。
🔺評估、實施、使用和管理資料管道和 ETL 工具。
🔺監控源系統和目標系統之間資料傳輸的效能和品質。
8、資料科學家-Data scientist
資料科學家是資料分析專家 — — 備受追捧的高階專業人士，他們通常擁有資料科學、統計學、數學或計算機科學的碩士或博士學位。資料科學家使用的技術包括統計分析、預測分析、人工智慧、機器學習和深度學習工具，以及包括 Python、R、Scala、SQL 和 Julia 在內的程式語言。
除了分析資料以改善當前業務營運之外，資料科學家還開發預測模型來預測未來趨勢並回答假設問題。為了幫助業務使用者瞭解他們的分析工作所揭示的資料洞察力，大多數資料科學家還使用資料視覺化工具來建立圖形、報告和儀表板，以易於理解的格式呈現調查結果。
資料科學家的主要職責包括：
🔺開發分析和統計模型來分析資料並根據需要進行改進。
🔺使用機器學習和其他高階分析技術來發現資料中隱藏的洞察力並預測客戶行為和未來業務趨勢。
🔺構建報告、儀表板和資料視覺化，向業務主管和其他資料消費者展示洞察。
9、資料分析師-Data analyst
儘管此角色有時被視為資料管理領域的入門級職位，但在需要幫助將原始資料轉化為有意義的見解時，資料分析師通常是首選團隊成員。與資料科學家一樣，資料分析師清理、組織和分析資料集並構建儀表板和報告，以幫助業務使用者瞭解分析應用程式的結果。
在某些情況下，資料分析師獨立工作；在其他情況下，他們支援資料科學家並受其監督。他們通常不像資料科學家那樣經驗豐富或技術熟練。但是，要有效，資料分析師除了要精通分析和資料視覺化工具以及程式語言（如 Python 和R）
資料分析師的主要職責包括：
🔺建模、清理、組織和分類資料集以用於分析應用程式。
🔺分析資料，為營運和戰略決策找到可行的見解。
🔺建立報告、儀表板和資料視覺化，以幫助業務使用者解釋分析結果。
10、商業智慧分析師-Business intelligence analyst
商業智慧分析師，或簡稱 BI 分析師，比初始資料設計和分析建模更關注資料分析和視覺化。BI 分析師通常使用儲存在資料集市和資料倉庫中的結構化資料，而不是資料科學家和資料分析師使用的更多樣化的資料湖。一般來說，他們還執行不太複雜的查詢來跟蹤業務 KPI、客戶購買習慣、車間生產和其他營運問題。
然而，BI 分析師經常訪問和聚合大量資料以識別有助於最佳化營運和影響業務戰略的模式。為了有效地使資料在決策過程中有用，他們需要了解其業務含義。除了自己的資料分析工作外，BI 分析師有時還幫助培訓和支援業務部門中自助式 BI 工具的使用者。
BI 分析師的主要職責包括：
🔺與業務經理合作，確定可以幫助他們改進當前營運並預測未來業務需求和趨勢的資料資產。
🔺分析資料以查詢有助於推動高品質業務決策的資訊。
🔺構建儀表板、報告和資料視覺化，以將調查結果傳達給業務使用者。
04 管理資料管理團隊
在實踐中，上述角色如何分組到團隊中會有很大差異。資料管理團隊的實際組成取決於企業的偏好。為監督團隊而設定的管理層和報告結構也是如此。
公司規模可能是一個因素。在中型企業中，您經常會在同一個團隊中找到 DBA、資料管理員和資料建模師，該團隊向中級資料經理報告。在較大的企業中，這三個角色可能是獨立的團隊，每個團隊都有自己的經理；這三個人都向資料管理員報告。
資料工程師、資料科學家和資料分析師通常被分配到一個特定的團隊，該團隊專注於支援和使用資料湖進行高階分析。在一些企業中，資料倉庫 DBA、ETL 開發人員和 BI 分析師也可能被分配到該組。在其他情況下，他們可以是單獨的 BI 團隊的一部分。資料品質分析師可能不包含在資料管理團隊中，而是包含在具有自己的報告結構的資料治理團隊中。
當您檢視 IT 企業結構圖時，資料管理團隊通常會向可能負責監督大型企業中多個團隊的高階 IT 或資料經理報告。反過來，高階管理人員可能直接向 CIO 或首席資料官報告，而不是 CTO，後者更關注 IT 創新和新技術的實施。
文章來源：Chris Foot
文章連結：https://mp.weixin.qq.com/s/m6_OyAs0P_-p4WvMj_pySw
※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※
我是「數據分析那些事」。常年分享數據分析乾貨，不定期分享好用的職場技能工具。各位也可以關注我的Facebook，按讚我的臉書並私訊「10」，送你十週入門數據分析電子書唷！期待你與我互動起來~
文章推薦
◆跟資料打交道的人都得會的這8種資料模型，滿足工作中95%的需求
回顧十週入門數據分析系列文：
關注數據君的臉書：
我是「數據分析那些事」。常年分享數據分析乾貨，不定期分享好用的職場技能工具。按贊我的臉書，會有豐富資料包贈送唷！
