| 高效能資料智慧分析整合平台

高效能資料智慧分析整合平台
極大部份的非結構化資料一般是儲存於本機或是網路檔案伺服器中,但傳統的檔案儲存架構其擴充性經常受限於個別的儲存主機或是儲存設備,因而無法滿足大數據分析所需要的分散式運算及彈性擴充需求。這也因此為何如HDFS或是Ceph等資料儲存平台快速興起。此類平台可針對如Hadoop或是Spark等特定資料分析應用程式所設計專用的Object Storage,亦可建置為單獨儲存設備系統提供挺IT環境運用。

大同世界科技方案的主要目標乃是建置一套完成的高效能分散可擴充式資料儲存資料分析整合平台,除了可應用於既有網路檔案儲存,更可作為新興資料分析應用程式共同使用。如此一來,不但可簡化系統的架構及管理上的複雜性,進而大幅降低大數據建置與維運的成本,以發揮最大綜效。

針對此部分,大同世界科技建議兩種解決方案,分別說明如下:

一、OpenSFS Lustre Parallel System技術以及Intel Lustre

此系統主要採用開放原始碼OpenSFS Lustre Parallel System技術或是Intel Lustre,其具備了以下特點: 

OpenSFS Lustre Parallel System技術以及Intel Lustre

OpenSFS Lustre Parallel System技術以及Intel Lustre

  • OpenSFS Lustre Parallel System採用開放式原始碼(GPLv2) 。 
  • 支援新一代RDMA技術。 
  • 備POSIX檔案系統標準介面。 
  • 採用水平擴充式平行檔案儲存架構(Scale-out Parallel File System),可支援大型計算機叢集系統以提供超高效能網路檔案存取。 
  • 能支援數千台Linux主機直接透過多重網路如Ethernet及InfiniBand同時存取檔案。 
  • 支援最大單一512PB以及單一檔案32PB並支援線上彈性容量擴充。 
  • 最高存取效能可超過1.2TB/sec。 
  • 提供系統管理者易於安裝、組態設定及監控的圖形化Lustre管理工具。 
  • 支援Hadoop HDFS/HBase功能整合及階層式儲存管理(HSM) 。 
  • 可提供企業等級技術支援與顧問服務。

 

二、Bigtera VirtualStor

此系統提供了軟體定義儲存平台,其匯聚,整合以及優化了所有的儲存資源(包括SAN、NAS),同時提供給IT管理人員幾乎無限制的彈性配置能力去分配和使用既有的儲存資源只要增加節點,即可彈性地以 Scale-Out 模式擴展儲存容量,讓容量可高達 1PB以上,達到隨插即用(Plug-and-Play)效果,讓 IT 管理員更有彈性計劃儲存容量要求。其具備了以下特點:

Bigtera VirtualStor

  • 具備網頁直覺式儀表板介面控制台
    控制臺提供圖型式儀表板介面,管理者可透過儀表版介面的圖像與文字,可輕鬆掌握整個儲存環境的運行狀況,資源的使用情況一目了然。
  • 節點間自動複製並提供資料保護
    資源池自動依照您的所需保護程度,進行副本數量選擇,系統便會依照設定,將寫入叢集的資料複製數份,分散存放到各節點,確保資料不至因為節點故障而不見。
  • 內建多樣性的功能
    具備多樣性的功能,例如,藉由增加SSD當成SSD快取,以增進存取效率,也可啟用壓縮與重複資料刪除功能。當然也具備快照功能、也可選購遠端複製授權以進行遠端複製、也可做QoS等功能。
     
  • 需要高效能儲存環境系統的IT需求:藉由增加節點數以增加整體儲存設備存取速度
  • 需要可逐步增加空間的IT環境:藉由增加節點數以增加整體儲存設備空間容量
  • 異地備份備援需求:於異地增加節點,並設定同步項目進行同步
  • 需求高度資料保護環境:設定保護副本份數多一些,以保護重要資料
1. 提高儲存系統的效能
2. 提高儲存資料的安全性
3. 可彈性擴充儲存空間
4. 不用擔心既有儲存設備未來停產設備維修設備擴充問題