| 機器學習平臺

運用MLOps觀念打造的機器學習平臺

何謂企業級AI(Enterprise AI)?

過去以流程驅動 (process-driven)或是資料驅動 (data-driven),需要透過人為從數據中尋找特徵,將由人寫出的規則 (rule)和數據丟入系統中找尋關聯與特徵。隨著運算進步與數據暴增,近年來已進入模型驅動 (model-driven)的時代,人類不再需要寫大量規則,將數據丟入機器學習中,將會自動找出規則與特徵。這也正是software2.0的特徵,過去依賴不同軟體分別處理不同事物,每個軟體都包含大量程式碼,如今進入software2.0,將所有需要集合在同一個系統之中,替換過去需要50萬行程式碼的龐大軟體群,改為只要約500行的Tensorflow程式碼即可,大幅減少程式量,並增加運行效率。

企業趁著這邊趨勢數位轉型,將過去許多須人為處理的工作交給機器,使用數據 (data)創建可解決問題 (problem)的機器學習模型 (model),並建置整合平臺,打造企業級AI (Enterprise AI) 勢在必行,許多大型企業如Airbnb、Facebook與LinkedIn都已打造專屬的機器學習平臺。

何謂MLOps?

        MLOps可以視為是DevOps 的延伸,MLOps涵蓋了 DevOps的版本控管、持續整合/持續交付、持續部署 (CI/CD)等概念,且MLOps 更重視資料處理、機器學習流程(包含訓練、驗證與部署等)。

 

        機器學習平臺整合模型訓練的所有行為,包含數據採集和特徵管理、模型開發至模型部署與效能監控。
       [ 數據採集和特徵管理] 機器學習訓練的第一步即是收集數據,並且將收集來的數據處理後保存,數據採集和特徵管理包含集中式數據存放、可重複的數據處理管道(pipeline)、數據標註 (data labeling)、特徵倉儲、數據回填 (backfills)與數據版本控制。
       
       [模型開發] 當數據準備妥當並完成前處理後就可以開始開發模型,此階段包含模型版本控制、過程追蹤與視覺化、提供分散式訓練 (Distributed training)、自動生成新特徵、超參數自動優化 (automated hyperparameter optimization (HPO))、AutoML。
       
       [模型部署與效能監控
]當將模型訓練完成,最後一階段即是模型部署,並且透過效能即時監控,如系統產生異常,即時發出警示通知。此階段行為包括模型服務 (model serving)、模型評估與驗證與階段性部署與管理。

Airbnb 打造Bighead機器學習平臺

        Airbnb為一提供度假租賃和住宿平臺,過去只能透過大量演算法進行搜索排序、定價,而Airbnb於2017年建置機器學習平臺Bighead以處理搜索排序、智慧定價和欺詐預防。Bighead 為一個端對端 (end-to-end) 機器學習模型建構和部署平臺,使用Python ,依賴open-source,如 Docker、Jupyter、Spark、Kubernetes 等,並運行在 AWS 上。Bighead整合特徵數據管理Zipline、模型生命週期管理Bighead Service,並在Jupyter Notebook環境下開發,開發完的模型透過Deep Thought在容器中部署,互相不會受到干擾。
Bighead協助Airbnb更高效地解決搜索排序、定價問題,不在需要像過去人為蒐集數據並找出特徵,再透過演算法運算,如今機器學習平臺即可完成一切。

圖片來源: BigheadAirbnb’s End-to-End Machine Learning Infrastructure by Andrew Hoh and Krishna Puttaswamy

Facebook 建置FBLearner

        機器學習是Facebook 服務的核心,包括新聞源、廣告、搜索、內容翻譯、語音識別和內容理解,Facebook於2016年建置機器學習平臺FBLearner。
        FBLearner整合了FBLearner Feature Store進行特徵管理、FBLearner Flow用於構建、訓練和評估,以及FBLearner Predictor將FBLearner Flow訓練出的模型部署到生產中。

圖片來源: Machine Learning Platforms by Sam Charrington


輕鬆打造機器學習平臺

        隨著GPU的需求越來越高,使得AI在各領域有顯著的表現。透過機器學習與深度學習協助企業提高作業效率。GPU的發展使AI快速進步,在AI發展的全盛時期,大世科提供人工智慧發展平臺 (AI Stack)解決方案,為GPU運算提供更彈性且更有效率的協作能力,善用開源軟體,降低 AI導入門檻。
由於NVIDIA目前提供以Linux為基礎,相對於圖形化介面,在操作上有一定門檻。然而若使用AI Stack,使用者無須處理軟硬體之間的問題,讓熟悉領域知識的資料科學家只需專注於機器學習/深度學習開發相關工作即可。透過AI Stack高度軟硬體整合,提升AI發展效益,創造更好的使用經驗。
AI Stack善用開源軟體,如 Docker、Jupyter、Kubernetes,在Jupyter Notebook環境開發,並在容器中運行,單獨作業,容器彼此互不干擾,方便快速部署和調整個別功能。

AI Stack打造AI發展平臺與企業AI協同合作平臺,讓企業中熟悉領域知識的資料科學家可以專注於機器學習、機器學習與HPC (High Performance Computing)相關工作。

大世科也提供HPE Container Platform,HPE Container Platform是一個基於Kubernetes建置的企業級整合容器平臺,專為在本地、多個公有雲、混合模型中或甚至在運算邊緣上運行雲端原生 (cloud-native)應用程序或非雲端原生應用程序而設計。
HPE Container Platform包括了最新BlueData和MapR技術,以及開源Kubernetes進行編排。BlueData擅長部署非雲端原生AI和分析;而MapR為永久容器存儲提供檔案系統和數據結構。使用者可以將容器的敏捷性和效率優勢擴展到更多應用程序上,無論是在本地、多個公有雲中或在運算邊緣的裸機或虛擬化基礎架構皆可。

HPE Container Platform是業界第一款針對雲端原生和分佈式非雲端原生應用程序的企業級容器平臺,利用HPE Container Platform可加速部署程序,為雲端原生或非雲端原生應用程序部署提供更大的靈活性和更低的成本。

機器學習模型對企業的重要性日益增加,機器學習有助於提高企業競爭力,企業部署機器學習平臺將成為趨勢,而大世科提前看見趨勢,在software2.0時代為企業提供專屬整合平台,根據企業之需求提供各種整合平臺解決方案。