| 構建雲原生架構：成功的 3 個關鍵

構建雲原生架構：成功的 3 個關鍵

IRUMA SANYAL / Informatica Senior Director, Product Marketing

如何創建有效的雲原生架構? 您首先需要瞭解其設計背後的原則。這是一個關於什麼是雲原生、為什麼雲原生架構很重要以及設計驅動業務價值、可擴展性和成本效益的應用程式架構的三個關鍵原則的速成課程。

雲原生架構：它是什麼以及為什麼它很重要

根據雲原生計算基金會的說法，“雲原生技術使組織能夠在公共雲、私有雲和混合雲等現代動態環境中構建和運行可擴展的應用程式。容器、服務網格、微服務、不可變基礎設施和聲明式 API 就是這種方法的例證。”
通過採用雲原生方法，組織可以利用雲的成本、速度、敏捷性、靈活性、彈性和可擴展性優勢來設計、構建、現代化和運營應用程式和服務。

雲原生架構的核心是一種專門為雲開發和改進系統架構的設計方法。雲原生系統消除了傳統堆疊對開發團隊的限制，同時擴大了業務價值並加快了上市時間。

雲原生架構的三個原則 :

雖然需要考慮各種特定於雲的原則，但瞭解三個核心原則（XOps、無伺服器和基於消費的定價）以及它們如何使您的組織受益非常重要。

1. XOps：它是什麼，它做什麼以及如何使用它

XOps 是一個總稱，指的是所有 IT 學科和職責的通用操作。這包括 BizOps、MarketingOps、DevOps、AIOps、MLOps 和 DataOps。XOps 的目標是使用 DevOps 最佳實踐來實現效率和規模經濟。它在減少技術和流程重複的同時實現自動化來確保可靠性、再使用性和可重複性。

將持續交付和 DevOps 應用於數據分析稱為DataOps。它應用了 DevOps、敏捷開發和統計過程控制的原則。目的是改善從數據分析中提取價值的週期時間。

如何實施 XOps 以推動業務價值：零售用例
假設您在一家跨國零售公司領導數據和分析實踐。在假期期間，對視頻遊戲機的需求突然激增，這是由於您在北美的所有商店都提供折扣優惠。但是您的零售店無法滿足需求，因而導致客戶流失和競爭對手的收入損失。

為了解決這種情況，您需要準確預測遊戲機的需求。這樣零售店手頭就有適量的庫存。為此您的團隊需要構建機器學習模型，以便根據需求自動進行預測。但是不同商店和外部供應商之間的數據基礎設施是孤立的。這使得開發人員、數據科學家和數據分析師難以提供可信的見解。那麼如何消除數據孤島，實現庫存數據的端到端可見性呢? 您的團隊需要採用 DataOps 原則來創建敏捷、無縫的協作模型。

現在，讓我們看看如何利用 Informatica 的內置 DataOps 功能改進庫存管理，以實現持續整合、交付和運營，從而自動及時交付可信數據。

首先，您的開發人員需要瞭解各種來源的銷售點 (POS) 和庫存數據的屬性和模式。其中包括您的企業資源規劃軟件 (ERP)、客戶資源管理工具 (CRM) 和軟件即服務 (SaaS) 應用程式。

但是，您如何發現和跟蹤這些數據的轉換，以便將其用於分析?
通過在Informatica Enterprise Data Catalog中使用類似 Google 的搜索功能發現數據資產?，您的開發團隊可以全面瞭解 POS 和庫存數據。他們可以查看所有數據屬性，例如客戶姓名、日期、時間、數量、頻率、庫存變化等。

發現數據資產後，您需要將它們從商店的 Oracle 數據庫和供應商的大型機系統中提取到Snowflake中，這是您公司的統一分析平臺。Informatica Cloud Mass Ingestion基於嚮導的方法允許您將 TB 級的數據從 Oracle 數據庫擷取到 Snowflake。您可以即時自動捕獲和更新數據中的更改，並將它們複製到 Snowflake 中。

擷取數據後，您的數據工程師通過使用Informatica Cloud Data Integration構建無代碼數據管道來整合和處理數據。然後，數據管理員使用雲數據質量來分析、清理和轉換數據以供分析使用。數據科學家現在能夠使用乾淨、可信的數據來構建機器學習模型。
構建機器學習模型後，數據工程師通過在雲數據整合介面中使用 python 轉換部署再來操作它們。
最後，使用Informatica Operational Insights可以持續監控交付的數據管道，以識別作業失敗並確保機器學習模型正常運行。

2. 無伺服器的開發：幫助您事半功倍

Serverless 是一種雲原生架構開發和部署模型，允許開發人員管理數據和應用程式的構建、測試和部署，而無需管理伺服器。無伺服器中仍有伺服器，但它們已從開發中抽離出來。雲提供商負責處理配置、維護和擴展伺服器基礎架構的日常工作。
部署後，無伺服器雲原生應用程式會響應需求並根據需要自動擴展和縮減。公共雲提供商的無伺服器產品通常通過事件驅動的執行模型按需計量。因此，當無伺服器功能處於空閒狀態時，它不會花費您任何費用。

無伺服器開發的真實案例：送餐
假設您領導一家快速發展的食品配送初創公司的數據工程和分析開發團隊。貴公司剛剛與一家大型信用卡公司簽訂了協議。它讓持卡人可以在您的應用程式上免費送餐。您預計在接下來的幾天內交易、網路流量和數據量將出現大幅飆升。

您的客製化推薦引擎會根據過去的訂單和用戶偏好推薦菜餚和餐廳。但是，它是建立在無法擴展的舊 MapReduce 框架上的。為了提供客製化的即時推薦，您的數據科學團隊創建了一個排名演算法。它基於用戶偏好、人口統計相似性和基於地理位置的預過濾功能。該演算法僅向用戶展示其送貨範圍內的餐廳。

要將此機器學習模型快速投入生產，您需要將其作為數據工程管道的一部分運行，該管道主要是為分批處理類型模式構建的。有幾個關鍵問題需要考慮：

• 如何在同一數據管道中運行批量加載和即時推薦引擎?
• 您應該計劃多少數據量?
• 您是否有足夠的處理能力為新用戶即時生成推薦，同時避免成本超支?

不用擔心，Informatica 可以提供幫助。借助我們的高階無伺服器產品，您可以操作機器學習模型並利用現有數據管道，而基於 Informatica Spark 的引擎可在幾分鐘內處理 TB 級數據。
要設置 Informatica 無伺服器，您的 IT 管理員只需在 Informatica 用戶介面 (UI) 上提供您的雲基礎架構和網路詳細信息。或者，您可以使用我們在 AWS 上的即用型 Cloud Formation 範本實施基礎設施即代碼。這使您可以在幾分鐘內以安全、可重複的方式配置所有必要的資源。

設置完成後，您可以運行數據管道並按需操作機器學習模型，以響應事件甚至按照預設的時間表。最好的部分是什麼？您無需更改任何 Informatica 映射。只需重新指向您的運行時以使用無伺服器環境。

在免費送貨的第一天，您看到流量增加了 10 倍以上。值得慶幸的是，Informatica 會根據您的需求自動擴展處理能力。當流量減少時，Informatica 會關閉其中兩個集群，以節省您不必要的計算成本。

Spark 處理作業所需的時間也比您在其他 Spark 集群中看到的要少。在某些情況下，它的速度快了 65%。這是因為人工智慧和機器學習 (AI/ML) 引擎 CLAIRE™ 會在運行時自動調整集群以獲得最佳性能。

3. 基於消費的定價：以對您的業務有意義的速度在雲中增長

什麼是基於消費的定價?這是根據您使用的服務量以及任務所需的數據儲存或計算能力量來向您收費的地方。
在雲原生世界中，這是最靈活的定價選項，符合您作為客戶的需求。您只需為使用的內容付費。該模型的投資回報 (ROI) 顯而易見：無需大量承諾即可快速實現價值。

基於消費的定價：一家公司的模式
假設您在一家跨國保險公司領導數據工程和分析小組。您的組織有許多用於管理數據的系統。這包括有關客戶保險單、索賠和銷售以及機會的資訊。Salesforce CRM 用於維護客戶記錄。Snowflake 是用於報告和分析的平臺。Azure Data Lake 用於部署機器學習模型以檢測欺詐性索賠。

但是業務已經擴展，使用案例已經發展。您現有的整合平臺無法滿足多樣化的整合需求。它也無法控制成本。您的數據整合管道處理數據需要更長的時間，並且需要更多資源。這些挑戰導致成本超支和報告延遲。更不用說，您現有的整合平臺對資源消耗的可見性有限，並且缺乏任何限制它的能力。更糟糕的是，您的公司已經為處理 Snowflake 和 Azure Data Lake 中的數據產生了昂貴的數據傳輸費用。

您知道您的組織需要雲數據整合解決方案。一種解決各種整合使用案例並控制資源消耗，同時支持多雲生態系統的解決方案。
Informatica 的 Cloud Data Integration 可以通過其優化引擎的靈活性幫助您快速實施您的使用案例。此外，它還為您提供了完全成本管理的自由。

首先，您可以使用簡單的四步引導將您的每週保險銷售和機會數據從 Salesforce 傳輸到 Snowflake。這由提取轉換加載 (ETL)執行引擎提供支援，該引擎可以有效地轉換數據並快速加載數據。一旦數據進入 Snowflake 登陸區域，就會對其進行整理、匯總並移動到企業數據倉庫區域。使用具有高級下推功能的ELT執行引擎，您可以節省數據傳輸費用，並實現比現有 ETL 整合快 50 倍的性能。

最後，在 Kubernetes 上使用基於 Informatica Spark 的引擎處理，您的公司可以清理和轉換儲存在 Azure 數據湖中的歷史保險索賠數據。從那裡，您可以將其用於 AI/ML 使用案例以檢測欺詐性索賠。
數據處理量會因索賠數量的突然增加或減少而波動。發生這種情況時，人工智慧驅動的 CLAIRE 引擎提供自動縮放和自動調整功能。這使您可以選擇最適合您的工作負載的選項。此外，Informatica Spark 引擎可幫助您以比以前快 10 倍的速度檢測欺詐性索賠。對於這些使用案例中的每一個，Informatica 優化引擎將處理發送到最快、最具成本效益的選項來幫助限制計算時間和數據傳輸成本。