阿里云如何面對云原生帶來的存儲挑戰,阿里云云原生技術與架構實踐

阿里云如何面對云原生帶來的存儲挑戰

前言

“云原生技術有利于各組織在公有云、私有云和混合云等新型動態環境中，構建和運行可彈性擴展的應用。云原生的代表技術包括容器、服務網格、微服務、不可變基礎設施和聲明式API。這些技術能夠構建容錯性好、易于管理和便于觀察的松耦合系統。結合可靠的自動化手段，云原生技術使工程師能夠輕松地對系統作出頻繁和可預測的重大變更。”來自CNCF。

K8S對網絡，存儲，計算進行了編排，已經成為了云原生的操作系統，給用戶展現了一個新的界面，極大的簡化了用戶的運維，提升了資源的彈性，真正的做到了按需使用，降低了用戶的成本。云原生快速被企業和開發者接受。Forrester預測到2022年，全球組織／公司在生成環境運行容器化應用，從今天不足30%的比例將大幅度提升到超過75%，企業應用容器化的趨勢勢不可擋。

容器在生產環境的應用的比例快速上漲，從2016年首次調查的23%，到2018年上漲到73%，實際到2020年已經上漲到84%

云原生應用正在引領各個應用領域實現云原生化，同時也在深刻改變著應用服務的方方面面。存儲作為應用運行的基石，也在服務云原生化過程中提出了更多的需求。云原生存儲為了滿足云原生特性的要求，可用性、穩定性、擴展性、性能等核心能力都有大幅的優化。

作為國內最大的云產商，阿里云提供了豐富的云原生服務。和網絡，計算的編排不同的是，存儲需要考慮如何無縫的接入到K8S中進行編排和調度。K8S推出了CSI，通過統一的標準將存儲和K8S進行了無縫的對接。本文討論云原生容器對存儲的挑戰，面向云原生和容器等領域的發展，阿里云文件存儲不斷進行云原生適配和演進，完美應對云原生存儲挑戰，阿里云NAS是容器存儲的自然選擇。

云原生帶來的存儲挑戰

新型工作負載容器化、遷云在存儲方面遇到的性能、彈性、高可用、安全及生命周期等方面的問題，不但需要存儲產品層次的改進，還需要在云原生的控制和數據層次的改進，推進云原生存儲的技術演進。

1、存儲性能挑戰：云原生應用在大數據分析、AI等場景得到廣泛應用，這些場景對存儲吞吐和IOPS的需求也非常高。在容器集群集中處理海量數據，同時啟動數千Pod，彈出海量Pod對共享文件系統進行讀寫的場景下，重負載導致時延增加，高延遲毛刺增多，讀寫穩定性不足，同時云原生應用的快速擴容、極致伸縮等特性也會考驗存儲服務在短時間內迎接峰值流量的能力。

集中式高吞吐對共享存儲池沖擊：高性能計算場景中，集中處理批量數據，同一個存儲集群中帶寬擠占，造成訪問質量下降。

峰值吞吐不足：大規模數據處理，文件數目少，峰值吞吐高，請求密集，接近獨占集群的極限帶寬。

時延增加導致GPU等待：多機多卡GPU訓練，讀密集型的場景下，時延增加導致IOwait和GPU wait。

2、存儲彈性挑戰：云原生的極致彈性，給存儲在彈性方面帶來了新的挑戰。隨著云原生多元業務發展，在數據庫和元數據管理應用在線擴容的場景下，本地盤存儲容量無法彈性擴容。

3、存儲高可用挑戰：在應用運維、系統運維的場景下，存儲隨容器遷移的穩定性和高可用挑戰。

4、存儲的安全挑戰：面向的容器隔離性要求場景，主要是多應用共享，文件系統多租戶環境的容量配合，集群級文件系統共享訪問的權限控制，用戶應用的全鏈路數據加密等安全挑戰。

5、存儲的生命周期管理挑戰：海量容器集群持久化數據存儲面臨數據冷熱分級和成本挑戰。

阿里云文件存儲如何來應對這些挑戰

針對以上在新的計算模式下，存儲方面遇到的性能，彈性，高可用，安全，生命周期等方面的問題，不但是需要存儲產品層次的改進，在云原生的控制和數據層次的改進，更需要在云原生應用層、存儲云產品層、底層存儲適配和存儲核心層都需要做相應的改進和提升才有可能提供更加穩定，安全和高效的面向應用的云原生存儲。

隨著云原生技術的發展，各個公有云廠商都開始對其云服務進行云原生化改造或適配，提供更加敏捷、高效的服務來適應云原生應用的需求。阿里云存儲服務也在云原生應用適配做了很多優化，阿里云文件存儲支持CSI、Flexvolume存儲驅動無縫的銜接了云原生應用和存儲服務之間的數據接口。實現了用戶使用存儲資源時對底層存儲無感知，而專注于自己的業務開發。

阿里云文件存儲為云原生提供了一個完全彈性和共享的文件系統，按需使用，滿足云原生極致的彈性。阿里云文件存儲從性能，彈性，高可用，安全，生命周期管理等方面對云原生存儲進行了打造和演進。

1、性能方面，AI，大數據分析，高性能計算領域，阿里云文件系統分散工作負載多文件系統和多個存儲集群、多個可用區通過容器編排分散IO到多文件系統。支持客戶端本地只讀緩存技術、分布式存儲，降低網絡延遲和IO、GPU等待時間。可以支持剛性交付數十GB吞吐的能力，提升算力。

2、彈性方面，阿里云文件存儲支持自由擴縮容，按量付費，是完全托管的文件系統。極速型NAS提供了百us的延時，在金融，互聯網等典型的突發彈性場景中，能夠在幾分鐘內啟動數千個容器，并完成數據的極速加載、卸載。

3、高可用方面，阿里云文件存儲支持容器快速Failover，同時支持存儲快照、備份等企業級特性。

4、在安全方面，阿里云文件存儲支持全面的AD/ACL權限管理，支持配額，打造了統一命名空間，支持對海量pod間的IO進行隔離和統一管理；文件存儲產品支持傳輸加密、落盤加密等功能。

5、面對海量數據，阿里云文件存儲提供了數據生命周期管理，自動歸檔冷數據，可以降低90%的用戶成本。

為什么選擇阿里云文件存儲作為容器存儲

阿里云文件存儲NAS為非結構化數據提供存儲服務。隨著云原生的快速發展，許多公司的容器化應用程序使用NAS存儲數據，有些甚至存儲PB級數據。阿里云在云原生布局上提供容器K8s服務（ACK）和彈性容器實例（ECI），容器實例使用NAS文件系統作為持久化存儲。容器存儲離不開共享文件存儲。

阿里云文件存儲是云原生、高可用、成本優化的完全托管的文件系統。阿里云文件存儲有三款產品，通用型NAS，極速型NAS和并行文件系統CPFS。

阿里云NAS是容器存儲的自然選擇，因為它是一種完全托管的服務，配置簡單，添加或刪除數據時自動擴展，和容器基礎架構一樣靈活便捷。

通常，彼此共享數據的容器自然需要共享文件存儲，長期運行的容器也可使用共享文件存儲應對故障。阿里云文件存儲同時滿足容器應用場景對持久化存儲彈性伸縮、靈活掛載、高性能的需求。此外，容器鏡像的配置文件或初始加載數據存儲可以在NAS文件存儲上實現共享，在容器批量加載時實時讀取，多POD間通過NAS共享持久化數據，在POD故障時可以進行故障切換。

隨著新技術的發展，機器學習AI和基因處理等大量使用共享文件存儲。我們通常看到如下一些示例：

Web服務：WordPress之類的內容管理應用程序受益于擴展到多個實例以實現性能和冗余，并且需要在多個實例之間共享上載、插件和模板。

軟件開發工具：JIRA和Git之類的開發人員工具需要在實例之間共享數據以實現高可用性，而代碼則保留在多個阿里云可用區中以實現持久性。

大數據分析和處理：諸如基因數據處理、Tensorflow機器學習框架需要通過文件系統接口訪問數據，并且具有持久的共享存儲，可以使多個用戶和作業在同一組數據上并行運行。

企業應用程序：共享Notebook（如Jupyter Jupyterhub）需要為notebook和user workplace提供持久存儲，擁有共享存儲可以使數據科學家輕松協作。

總結

以容器和云原生計算被企業快速接納，Kubernetes逐漸成為云原生時代的基礎設施，容器服務成為云原生時代基礎設施。新的工作負載推進云原生存儲和云存儲的演進，云原生控制平面實現效率方面能力，從數據面提升存儲穩定和減小安全隱患，云存儲繼續夯實性能，容量，彈性，密度等基礎能力，共建云原生環境下的存儲生態。

阿里云文件存儲是容器存儲的自然選擇，完美應對云原生存儲在性能，彈性，高可用，安全，生命周期等方面的數據挑戰。阿里云基于云原生文件存儲技術的快速演進將不斷賦能云原生和容器領域的快速發展。

特別聲明：以上文章內容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。