增強分析到底是什麼,它是BI的未來嗎?

數據分析那些事
10 min readMay 17, 2023

--

從2017年Gartner首次提出增強分析的概念,連續多年將增強分析確定為未來資料與分析技術發展趨勢,考慮到增強分析跟人工智慧,特別是NLP有著千絲萬縷的關係,進而與ChatGpt也有了關聯,這個被看成是BI3.0的分析領域的大殺器,到底是個什麼東西,我們來一探究竟。

一、增強分析定義

商業智慧最容易分為三代技術,每一代都由解決方案提供的可訪問性、速度、資料集大小和洞察品質來定義。

BI 1.0-傳統商業智慧

傳統商業智慧被認為是最古老的 BI 版本,也是最不友好的。傳統的 BI 建立在需要 IT 專業人員聚合資料和構建 OLAP 多維資料集以進行分析,傳統的 BI 交付報告和靜態儀表板作為其主要輸出。從手動從資料庫中提取資料並手動清理資料,到構建模型、挖掘資料以及生成整個組織的部門和團隊所需的資料豐富的報告,即一切都由專家處理。

最大的問題是需要數週時間才能為業務提供關鍵洞察,因為需要 IT 來設計模型和報告。由於該系統僅提供查詢的回顧性檢視,因此無法提供預測性見解。因此,決策者最終只能“憑直覺”尋找新的機會和解決重大問題的方法。

BI 2.0-自助商業智慧

自助式商業智慧 (SSBI) 解決方案對傳統資料分析模型進行了重大升級。最值得注意的是,它們允許資料分析師和其他業務使用者使用 IT 構建的模型建立自己的報告和資料視覺化。組織中的每個人都可以按需訪問,這種 BI 方法使使用者能夠建立臨時報告、提出後續問題,並手動更深入地挖掘洞察以獲得更有針對性的資訊。

不幸的是,自助服務仍然無法解決最後一英里的問題,因為它用於資料探索的視覺化介面使用傳統的拖放式度量和維度,這對業務使用者來說很複雜。隨著資料量和複雜性的增加,使用自助式 BI 工具手動分析資料的每個組合以找到重要見解變得不大現實,即使對於專家資料分析師也是如此。

BI 3.0-增強分析

作為下一代商業智慧,增強分析以幾種不同的方式改進了自助服務模型。Gartner指出,增強分析是使用機器學習和人工智慧等支援技術來協助資料準備、資料發現、洞察生成和洞察解釋,以增強人們在分析和 BI 平臺中探索和分析資料的方式。

它使用機器學習和人工智慧,透過自動從各種資料庫和整合工具中獲取資料來簡化資料準備。一旦資料在平臺中,它允許使用者使用自然語言查詢在會話 UI 上自助提供臨時報告。

增強分析不僅簡化了後端的資料分析。它還透過自然語言生成 (NLG) 提供洞察力和視覺化效果,使資料對普通使用者而言更易於訪問和更有價值。該軟體還實時對資料進行切片和切塊,以深入瞭解報告資訊背後的“原因” — — 而不僅僅是內容、人員和時間。而且,隨著時間的推移,該演算法對使用者意圖有了更深入的理解,這使其能夠為複雜問題提供更有針對性和更細緻的答案。這些功能共同使資料分析師和資料科學家能夠比以往更快、更輕鬆地設計自定義視覺化並生成見解。

二、增強分析方法

增強分析跟傳統的BI分析流程相似,但透過使用 ML、NLG 和 AI 等技術增強了資料分析的三個主要階段:

1、資料準備

資料準備涉及資料的採集、清洗、轉化和驗證等繁瑣的工作,傳統BI通常需要依賴開發人員和資料科學家專業知識和人工操作才能完成。

藉助增強的分析工具,其可以藉助演算法檢測機制,自動對資料進行分析、標記、註釋並清潔以進行可靠的分析,自動將來自多個來源的資料整合在一起,自動生成資料目錄,元資料和資料血緣,所需時間僅為手動操作時間的一小部分。

2、洞察發現

洞察力發現是資料分析過程中的一個步驟,傳統BI主要基於視覺化引擎進行手工操作資料和手工建模來發現規律,由於傳統上模型必須由資料科學家手動開發,因此見解往往缺乏特異性。

透過增強分析,洞察發現更容易啟動,也更徹底。普通人可以使用自然語言和語音輸入來進行查詢,增強分析透過演算法自動找到資料中的規律,自動生成模型,自動從資料中找到模式和規律來針對性的回答問題。

3、見解分享

見解共享是透過報告或視覺化向終端使用者提供見解的過程。傳統BI透過儀表盤等形式展示結果,往往需要資料科學家進行解釋。

透過增強分析,獲得洞察力的時間和人力都可以大大減少。使用自然語言生成,增強分析平臺實時提供見解, 這些見解包括對自然語言查詢的直接回答和回答的推理,或者將決策直接傳入生產和辦公應用。

三、增強分析技術

要實現增強分析,需要四個關鍵技術:

1、增強資料準備

這些通常包括資料準備方面的進步,或者更典型的是 ETL(提取、傳輸、載入)階段,具體包括:

資料洞察:在資料準備前就對資料進行多維度的洞察,包括行列資料分析,為選擇符合的資料提供參考。

自動連線:能夠根據使用者、角色,歷史資料等智慧推薦資料來源,自動完成資料連線配置。

自動清洗:基於預置的資料品質規則(如合併重複記錄)自動進行資料清洗和轉化,實現資料的一致性、準確性,唯一性,能夠實時呈現清洗結果。

2、機器學習 (ML)

作為一種 AI,ML 使用演算法快速搜尋歷史資料、識別模式、發現異動並生成見解和建議。ML 模型是大多數增強分析功能的基礎。

自動分析:自動識別資料中的影響因素、關鍵驅動因素和異常因素,提供自動化分析結果。

自動建模:自動調參和演算法選擇,實現自動化建模,支援第三方演算法或模型整合,自動選擇合適的模型實現預測。

3、自然語言技術

人類和計算機可以透過自然語言處理 (NLP) 和自然語言生成 (NLG) 更輕鬆地相互交談,前者為計算機解釋人類語言,後者將計算機程式碼翻譯成人類語言。因此,商務人士可以使用熟悉的領域和行業術語在來回的問答會話中與機器互動,自然語言技術讓任何使用者,甚至是未經培訓的業務使用者,都可以就他們的資料提出問題,並以簡單的對話方式獲得答案。

4、自動視覺化

基於現有資料內容和格式,為使用者自動推薦合適的圖表展現樣式,根據洞察結果自動組裝分析報告,展示分析結果,並以使用者指定的頻率分發,加速洞察共享。

顧名思義,增強分析並沒有取代而是增強了人類的智慧、直覺和好奇心。機器學習模型利用隨著時間的推移從使用者那裡收集的上下文和行為線索,評估人類的意圖和偏好,並透過自然語言提供適當的見解、指導和建議。他們將實際的決策權留給人們。

四、增強分析價值

增強分析可以使分析師的工作更快、更高效、更準確。機器學習和自然語言技術可以降低分析的技術障礙,包括讓資料技能和經驗不太成熟的人可以使用更先進的技術,幫助領域專家(深入業務的人員)更敏捷的使用他們的資料。

敏捷性:提高洞察速度

AI 驅動的分析增強可以透過縮小搜尋空間(比如特徵變數自動選擇)、在正確的時間向正確的人顯示相關資料以及透過建議富有成效的分析路徑來加速對洞察力的搜尋。透過廣泛跟蹤分析使用者使用行為,增強分析可以提供更智慧的預設設定和推薦操作,並進行迭代最佳化,加速與使用者的信任關係。當人們更快地回答他們的資料問題時,他們可以專注於更具戰略性,挑戰性的任務,並花更少的時間梳理資料以獲取見解。

準確性:提供全面視角

機器可以不睡覺不休息,高品質地執行重複任務和計算。增強分析背後的 AI 和 ML 技術可以有效地檢查每個細節,讓使用者可以根據透徹的分析做出最明智的決策。這種全面的視角可以幫助人類避免自己的結論受到確認偏誤的影響,揭示使用者從未想過他們需要的見解,比如機器可以快速的對100個維度進行分析,而分析師則由於精力問題和領域知識的缺乏只挑選自認為重要的維度進行探索。

效率化:自動操作任務

將機器學習和人工智慧整合在高度專業化、重複性的演算法驅動的流程中已經取得了巨大進步,例如針對相關內容或產品提供“您可能有興趣瞭解…”的建議的網站,增強分析透過任務自動化來減少人們在處理資料(例如資料準備、資料發現、執行統計分析等)時需要付出的時間和精力。

民主化:加速分析普及

增強技術通常易於使用,降低了技術門檻,這使得廣泛的業務人員可以大幅減少對資料科學家的依賴,能夠基於增強分析的結果更充分的發揮自己的業務專業知識,當更多人參與資料分析時,資料素養就會提高。隨著時間的推移,組織文化發生了變化。越來越多的團隊開始習慣於使用資料並透過協作來創造商業價值。

五、增強分析演示

眼見為實,耳聽為虛,這裡介紹幾個增強分析的具體演示案例。

1、資料問答

資料問題讓您的使用者使用自然語言回答業務問題。此過程非常簡單,只需輸入您的問題,然後獲得視覺化答案。“資料問答”提供了一種直觀的引導式體驗來構建查詢,使用者不用進行拖放,也無需瞭解維度和度量。自動更正和同義詞識別功能有助於填補空缺,最準確地體現問題中隱藏的使用者意圖。

“資料問答”可以直接整合到儀表板中,因此使用者在檢視經過整理的資料後,只需單擊一下就可以提出下一個問題。您可以在任何門戶或應用程式中嵌入“資料問答”,進一步擴大其影響力,以下是Tableau產品的一個示意:

2、資料解釋

資料解釋可以執行統計模型並檢查特定資料點值背後的數百種潛在解釋,從而在見解探索過程中找出重點。這項功能會使用日常使用者可以理解的語言,自動透過功能齊全的 Tableau 視覺化顯示最翔實的解釋,讓使用者進行進一步探索,以下是Tableau產品的一個示意:

六、增強分析挑戰

1、認知問題

由於人工智慧和機器學習的潛在複雜性,人們仍然非常關注技術本身,而不是普通人如何與之互動並從中受益。除了對機器搶走人們工作的誤解外,這還可能阻礙採用為處理資料的人提供實際好處的解決方案。如果人們不理解和不信任其價值,他們就不會使用人工智慧和增強分析。

2、資料品質

資料品質對於增強分析至關重要,因為它確保 AI 和 ML 演算法有準確的資訊可供使用,但資料品質管理往往屬於髒活累活,對於沒有豐富資料處理經驗的人來說,這是一個巨大的挑戰, 為確保高品質的資料,企業應加快資料治理體系的建設,否則,增強學習成功的機會微乎其微。

3、模型管理

過時的資料和業務的變化要求定期訓練模型,並定期更新演算法來處理不斷變化的資料資產,這對增強分析平臺和工具的持續營運提出嚴峻挑戰。

4、資料素養

增強分析不需要使用者成為技術專家,但他們仍需要具備基本的資料素養,要學會如何用資料驅動的方式思考業務,只有這樣才能充分利用好增強分析平臺,同時還必須學會批判性地思考資料, 根據錯誤的資料或來自 AI 系統的錯誤建議採取行動將導致錯誤的決策和資源浪費。

文章來源:大魚的數據人生
原文連結:https://mp.weixin.qq.com/s/P-HiUhtnZuYFBXy1IBtbFA

※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※

我是「數據分析那些事」。常年分享數據分析乾貨,不定期分享好用的職場技能工具。各位也可以關注我的Facebook,按讚我的臉書並私訊「10」,送你十週入門數據分析電子書唷!期待你與我互動起來~

文章推薦

餅圖變形記,肝了3000字,收藏就是學會!

MySQL必須掌握4種語言!

太實用了!4種方法教你輕鬆製作互動式儀表板!

跟資料打交道的人都得會的這8種資料模型,滿足工作中95%的需求

妙呀!一行Python程式碼

回顧十週入門數據分析系列文:

關注數據君的臉書:

我是「數據分析那些事」。常年分享數據分析乾貨,不定期分享好用的職場技能工具。按贊我的臉書,會有豐富資料包贈送唷!

--

--

數據分析那些事
數據分析那些事

Written by 數據分析那些事

這是一個專注於數據分析職場的內容部落格,聚焦一批數據分析愛好者,在這裡,我會分享數據分析相關知識點推送、(工具/書籍)等推薦、職場心得、熱點資訊剖析以及資源大盤點,希望同樣熱愛數據的我們一同進步! 臉書會有更多互動喔:https://www.facebook.com/shujvfenxi/

No responses yet