阿里云機器學習與PAIDSW,阿里云機器學習云服務器

阿里云機器學習與PAIDSW

經過20年的快速發展，阿里經濟體已經組建了一個龐大的商業生態圈，并在支付、云計算、本地生活服務等行業保持互聯網巨頭地位。2020財年交易額突破1萬億美元，全球第一家；阿里云支撐了2019年雙11期間峰值54.4萬筆/秒、單日數據處理量達到970PB的世界級的流量洪峰，成為業界第一個實現此壯舉的云計算公司。

阿里云機器學習平臺正是伴隨著這樣龐大而復雜的阿里經濟體業務成長起來的。下面我們將帶著大家掀開阿里云機器學習技術大圖的一角，看看阿里云機器學習，特別是機器學習工程上的發展、沉淀和創新。

阿里云機器學習技術大圖

我們從用戶和技術的兩個角度來梳理阿里云機器學習的技術體系大圖。從用戶的角度來說，根據使用機器學習的深度不同，在云棲大會上，我們展示了飛天AI平臺的技術分層關系：

（注：不是一個完整的產品列表，而是一些核心的樣例）

從技術的角度說，機器學習從算法到底層的硬件，都涉及到不同的技術方向。下面是我們對于核心技術能力上的一個總體描述：

每個技術方向上都形成各自的布局和沉淀，接下來我們會重點講述作為機器學習重要組成部分的工程能力體系建設。

阿里云機器學習工程能力體系

阿里云在機器學習工程體系建設上，也經歷了各領域業務需求驅動和技術驅動分階段螺旋式遞進上升的過程。由最初的通過傳統機器學習算法進行數據價值的粗加工，到今天以深度學習為主、支撐各類“行業大腦”解決方案的人工智能工程體系。

阿里云的機器學習工程能力體系建設始終圍繞著更高效的融合人工智能三要素（算法、數據、算力）進行展開，即追求不斷提升整個工程體系中的計算效率、數據效率以及工程效率，從而能夠更好的支撐阿里經濟體各方面業務快速發展的需求，并通過阿里云對外進行技術輸出，推動人工智能領域的技術變革，產生更大的社會效益，實現普惠人工智能。

經過多年的發展創新，阿里云在AI托管平臺技術層進行了系統性的建設，極大提升了算法研發、共享、部署、輸出的效率，在此基礎上沉淀出多個具有用戶粘性和場景差異化的開發平臺，這里我們選取阿里云機器學習PAI(Platform of Artificial Intelligence)作為代表來著重來介紹。

PAI是一款覆蓋機器學習全流程的一站式機器學習平臺產品，集數據預處理、特征工程、自動調參、模型訓練、在線預測為一體，為用戶提供低門檻、高性能的云端機器學習服務。

PAI相關技術脫胎于阿里集團內數十個BU的上千個業務體系，沉淀了大量的覆蓋各個領域的優質分布式算法、框架、平臺等，同時也在不斷完善和擴充機器學習生態。

阿里云機器學習PAIDSW

作為在AI戰線上辛勤耕耘的算法工作者，你是否也常常遇到下面的情形：

算法需要運行在GPU上，可是長時間申請不到GPU機器，只能干著急。

終于GPU機器申請到了，卻不能馬上開始使用，需要先安裝GPU驅動和各種依賴等等，感覺有些浪費時間。

好不容易機器環境弄好了，可當某天更新算法代碼后變得很慢，排查半天才發現是GPU驅動需要升級補丁，很是無奈。

生產環境機器網絡隔離，在線上要debug代碼，只能使用GDB在命令行進行，開發效率大大降低。

在本地采用PyCharm這樣的IDE開發好代碼，而數據在生產環境，不允許下載，只能把代碼拷貝到線上機器運行，發現問題后，又得回到本地修改調試后再來一遍，非常不便。

PAI Studio采用圖形化拖拽式，像搭積木一樣分分鐘就構建一個完整的工作流，很炫酷。但想要定制發布自己的組件時，卻不知從何下手。

在長期與算法工程師同學溝通合作的過程中，我們發現了算法工程師面臨的這些問題。提升機器學習工程效率，降低人工智能使用門檻，急需一個簡單、輕量、好用的工具平臺，從而讓算法工程師更加專注于模型設計本身。PAI DSW（Data Science Workshop）就是PAI團隊為解決算法工程師的以上痛點，新推出的一款云端機器學習開發IDE。

PAIDSW集成了Jupyterlab、WebIDE等多種開源項目，在阿里巴巴集團內上百個BU和上千名工程師的打磨之下性能和功能上都進行了一定的調優。數據上打通了ODPS等多個數據源，方便用戶在構建模型的時候免去重新構建數據管道的工作。同時，在深度學習上，PAIDSW內置了Tensorboard，可以通過簡單的拖拽的方式來幫助深度學習的開發者更好的完成深度學習場景下神經網絡的建模。下圖展示了DSW在機器學習平臺PAI產品架構中的位置：

（DSW在機器學習平臺PAI產品架構中的位置）

簡單來說，PAIDSW可以實現多實例、多環境，GPU/CPU資源、JupyterLab、WebIDE以及全屏使用Terminal無干擾工作。目前PAIDSW已經向所有阿里云的用戶免費開放了探索者版，只需要登陸阿里云然后打開https://dswdev.data.aliyun.com/#/即可即刻開始云上數據科學之旅。本書后面兩個章節將詳細介紹如何使用PAIDSW這一簡單好用的工具。

特別聲明：以上文章內容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。