| [EDM] 數據治理和目錄是現代架構需求的基礎

活動時間:2022-08-17 15:30 - 2023-03-31 17:00

 

數據治理和目錄是現代架構需求的基礎

RAMEEZ GHOUS/ Informatica Sr. Manager, Technical Marketing

數據的世界是複雜的

數據的世界已經發展了一段時間。但技術和儲存能力的爆炸性增長加快了數據的數量、種類和速度的變化速度。據《Forbes》報導,從2010年到2020年,世界上創造、捕獲、複製和消費的數據量增加了5000%。在這個不斷變化的數據環境中跟上需求一直是一個艱巨的挑戰。為了尋求可操作的業務洞察力,企業正在轉向管理良好的數據。

企業最初創建數據倉庫和數據市集是為了滿足儲存和管理數據的需要。後來,大數據的出現,隨著越來越多的數據來源和數據類型的迅速增加,在本地部署的大數據讓位於雲端儲存。今天,我們看到一些組織使用雲、多雲或混合雲模型,在數據湖和數據湖屋中管理他們的數據。大型數據湖和數據湖屋說明企業通過分析、數據科學和AI/ML能力來實現其數據平臺的現代化。


圖1:Data Warehouse、Data Lake 和 Data Lakehouse 圖示(來源:Databricks)

不幸的是,這種方法已經產生了它自己的一系列挑戰。這些挑戰使得一些新的架構框架--如data fabric和data mesh--成為數據社區的話題。需要注意的一個關鍵點是:數據治理和目錄是這兩個架構框架成功的基礎。

數據治理和目錄是Data Fabric的關鍵要求

選擇在雲上增強數據分析和 AI 功能的公司通常會產生其他問題。將這些功能遷移到雲端通常會暴露出他們的數據管理策略沒有經過深思熟慮。這意味著該公司將與不同的數據管理技術或缺乏統一的框架作鬥爭。

正如 Forrester 分析師 Noel Yuhanna 在 2000 年代中期所定義的那樣,Data Fabric 被吹捧為應對這一挑戰,這是有充分理由的。從本質上講,Data Fabric 是一種元數據驅動的方式,用於連接不同的數據工具集合以解決關鍵痛點。Data Fabric 解決方案提供數據訪問、轉換、集成、沿襲和編排等功能。

圖2:Data Fabric框架的圖解說明

該框架的一些關鍵構建塊是數據治理數據目錄元數據數據市場。仔細觀察會發現,數據治理、元數據和數據目錄似乎是將結構黏合在一起的黏合劑。

數據治理是Data Mesh的基本原則之一

為了基於數據推動業務發展,許多組織已投資建立中央數據湖和數據團隊。但是隨著越來越大的數據域的增加,數據湖變得越來越大,困難就出現了。集中式數據團隊試圖了解更新的領域,他們爭先恐後地支持不斷增長和多樣化的用戶群。另一方面,您會發現已經完全分散其數據湖的組織。這些組織讓各個領域團隊管理數據以滿足業務需求。這種方法會導致數據孤島、缺乏一致性和標準以及效率損失。

Data Mesh是一種架構框架,它充分利用了集中式和分散式方法。它的四個基本原則——域所有權、數據即產品、自助數據基礎設施平台和聯合治理——解決了數據和分析需求,也解決了這兩種方法的缺點。並且“聯合治理”原則確保了數據互操作性和治理策略的企業標準。這可以幫助企業遵守組織規則和行業法規。標準幫助領域所有者在不同的數據產品中獲得更大的上下文。聯合治理模型還可以確保 GDPR 等全球監管政策(或 CCPA 或 CPRA 等本地監管政策)易於執行和管理


圖3 : Data Mesh框架的圖示


以數據為導向的成功藍圖

如您所見,數據治理和目錄在當今一些最受關注的架構概念中起著至關重要的作用,您可以通過執行數據管理的能力來衡量數據管理的成功與否,或者您的組織對您的數據(及其上下文)的理解程度。這意味著經過深思熟慮的架構,強調數據治理和目錄,可以為您的組織提供強大的成功藍圖。


學到更多

您可以從幾個地方開始:

  • 詳細了解我們的智能數據管理雲,這是業界唯一的雲原生、API 驅動和基於微服務的綜合數據管理平台。
  • 觀看此視頻,了解數據網格或數據結構是否適合您的企業。