Google Cloud ML Engine是什么,spring cloud gateway 限流

Google Cloud ML Engine是什么

1. Google Cloud ML Engine是什么？

Google Cloud Machine Learning (ML) Engine 是一項托管式服務，使開發者和數據科學家能夠構建卓越的機器學習模型并將其運用到生產環境中。Cloud ML Engine 提供訓練和預測服務，這些服務可以一起使用也可以單獨使用。Cloud ML Engine 是經過實證的服務，被眾多企業用來解決各種問題，包括識別衛星圖像中的云、確保食品安全，以及快速回復客戶電子郵件（回復速度可提升到原來的四倍）。

可以提供模型訓練、預測（在線預測、批量預測）、部署多個框架（TF、sklearn、XGBoost、Keras）

參考文檔：https://cloud.google.com/mlengine/

2. 模型訓練、預測流程

python代碼形式；

數據和模型都存儲在Cloud Storage bucket中；

sklearn示例代碼

XGBoost示例代碼

生成py文件

導入依賴庫；

從Cloud Storage中下載數據；

導入數據；

模型訓練并保存；

導出模型至Cloud Storage；

模型格式：

sklearn模型格式joblib和pkl（pickle），xgboost模型格式joblib、bst和pkl（pickle）

參考文檔：https://cloud.google.com/mlengine/docs/scikit/gettingstartedtraining#createmodeltrainingcode

打包模型

按照規定生成文件夾，并將上一步中生成的模型訓練py代碼放入文件夾中；

使用gcloud命令本地調試代碼；

使用gcloud命令上傳模型，需要配置相關參數（如：Cloud Storage、訓練代碼py文件名、python版本等）；

在Cloud ML Engine上運行訓練代碼；

參考文檔：https://cloud.google.com/mlengine/docs/scikit/gettingstartedtraining

模型在線預測（又稱HTTP Prediction）

需要指定模型名稱、輸入文件、使用框架名稱（運行某個模型并獲取結果時可能需要定制化開發）；

使用gcloud命令獲取預測結果；

相當于需要進行預測時，就發一條請求；

請求中的輸入文件為一個json（官網上為本地文件，不知道可否使用Cloud Storage中）；

響應中為預測結果；

參考文檔：https://cloud.google.com/mlengine/docs/scikit/quickstart

模型批量預測

與模型預測類似

需要指定輸入輸出文件位置（輸入文件需存儲在Cloud Storage）、模型名稱、使用的計算節點數（看起來可以使用分布式計算）等；

實時性低，不像在線預測那樣，一個請求對應一個返回；

似乎沒有看到什么定時器之類的功能，看起來Cloud ML Engine的batch prediction只是一次性的；

參考文檔：https://cloud.google.com/mlengine/docs/tensorflow/batchpredict

3. notebook中的思考

如果想在notebook中做這件事（自學習、批量預估），有幾個點值得思考；

數據從哪拿？直連hdfs拿、從pdms拿

任務的監控？

任務在哪里跑？直接在當前pod、另啟一個新的

結果的輸出？輸出在ipynb文件中、直接輸出到hdfs、輸出在pdms

特別聲明：以上文章內容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。