Azure Data Lake Storage Gen2 簡介,azurestorage系列

Azure數據湖存儲第二代簡介

Azure Data Lake Storage Gen2是一組專用于大數據分析的功能，以Azure Blob storage as 基礎構建。

專為企業大數據分析而設計

數據湖存儲Gen2使Azure storage成為在Azure上構建企業數據湖的基礎。Data Lake Storage Gen2從一開始就被設計為存儲數百億字節的信息，同時保持數百億字節的吞吐量，使您可以輕松管理大量數據。

Data Lake Storage Gen2的一個基本部分是向Blob存儲添加一個分層的名稱空間。分層命名空間將對象/文件組織到目錄層次結構中，以實現有效的數據訪問。常見的對象存儲命名約定在名稱中使用斜杠來模擬分層目錄結構。這種結構是在數據湖存儲Gen2中真正實現的。重命名或刪除目錄等操作將成為對目錄的單個原子元數據操作。沒有必要枚舉和處理共享目錄名前綴的所有對象。

Data Lake Storage Gen2構建于基礎Blob存儲之上，其性能、管理和安全性通過以下方式得到增強:

優化的性能，因為您不需要將復制或轉換數據作為分析的先決條件。與Blob存儲上的平面命名空間相比，分層命名空間大大提高了目錄管理操作的性能，從而提高了整體作業性能。

管理更容易，因為您可以通過目錄和子目錄來組織和操作文件。

因為POSIX權限可以在目錄或單個文件上定義，所以可以加強安全性。

此外，Data Lake Storage Gen2非常具有成本是多少，因為它建立在低成本的Azure Blob存儲之上。這些新功能進一步降低了在Azure上運行大數據分析的總擁有成本。

第二代數據湖存儲的主要功能

Hadoop兼容訪問:借助Data Lake Storage Gen2，您可以像Hadoop分布式文件系統(HDFS)一樣管理和訪問數據。用于訪問數據的新ABFS驅動程序在所有Apache Hadoop環境中都可用。這些環境包括Azure HDInsight、Azure Databricks和Azure Synapse Analytics。

POSIX權限的超集:Data Lake Gen2的安全模型支持ACL和POSIX權限，以及一些特定于Data Lake Storage Gen2的額外粒度。可以通過storage explorer或Hive和Spark等框架來配置設置。

經濟高效:Data Lake Storage Gen2提供低成本的存儲容量和交易。Azure Blob存儲生命周期等功能可以在數據在其生命周期中進行轉換時優化成本。

優化的驅動程序:ABFS驅動程序已經專門針對大數據分析進行了優化。相應的REST API通過端點dfs.core.chinacloudapi.cn顯示。

可伸縮性

根據設計，無論是通過數據湖存儲Gen2還是Blob存儲接口訪問，Azure存儲都可以自由伸縮。它可以存儲和處理數十億字節的數據。此存儲量可用于在每秒高級輸入/輸出操作(IOPS)下以每秒千兆位(Gbps)測量的吞吐量。它將根據在服務、帳戶和文件級別測量的近乎恒定的延遲進行處理。

成本是多少

因為數據湖存儲Gen2是建立在Azure Blob storage 基礎之上的，所以存儲容量和交易成本較低。與其他云存儲服務不同，在分析數據之前，不需要移動或轉換數據。有關定價的更多信息，請參見Azure存儲定價。

此外，分層命名空間等功能可以顯著提高許多分析作業的整體性能。這種性能上的提高意味著處理相同數量的數據需要更少的計算能力，從而降低了端到端分析作業的總擁有成本(TCO)。

一種服務，多種概念

因為Data Lake Storage Gen2構建在Azure Blob storage 基礎之上，所以可以使用多個概念來描述相同的共享內容。

以下是由不同概念描述的等效實體。除非另有說明，否則這些實體是同義的:

一種服務，多種概念

支持的Blob存儲函數

您的帳戶現在可以使用Blob存儲功能，如診斷日志記錄、訪問層和Blob存儲生命周期管理策略。

有關受支持的Blob存儲函數的列表，請參考Azure Data Lake storage Gen2中提供的Blob存儲函數。

支持Azure服務集成

數據湖存儲gen2支持多種Azure服務。您可以使用它們來引入數據、執行分析和創建可視化表示。有關受支持的Azure服務的列表，請參見支持Azure數據湖存儲Gen2的Azure服務。

支持的開源平臺

多個開源平臺支持數據湖存儲Gen2。有關完整的列表，請參見支持Azure數據湖存儲Gen2的開源平臺。

特別聲明：以上文章內容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。