阿里云實時計算Flink版IoT行業(yè)解決方案,阿里云flink實時計算

阿里云實時計算Flink版IoT行業(yè)解決方案

行業(yè)挑戰(zhàn)

物聯(lián)網(wǎng)(Internet of Things，以下簡寫為IoT)是互聯(lián)網(wǎng)、傳統(tǒng)電信網(wǎng)等資訊的承載體，能讓所有具備獨立功能的普通物體實現(xiàn)互聯(lián)互通的網(wǎng)絡。物聯(lián)網(wǎng)將現(xiàn)實世界數(shù)位化，應用范圍十分廣泛。物聯(lián)網(wǎng)拉近分散的資訊，統(tǒng)整物與物的數(shù)位信息，主要應用領域包括以下方面：運輸和物流領域、健康醫(yī)療領域、智慧環(huán)境(家庭、辦公、工廠)領域、個人和社會領域等，具有十分廣闊的市場應用前景。物聯(lián)網(wǎng)將智能感知、識別技術、網(wǎng)絡通信與普適計算等技術融合起來，被認為是繼計算機、互聯(lián)網(wǎng)、智能手機之后世界信息產(chǎn)業(yè)發(fā)展的下一個風口。

據(jù)IDC估計，到2020年物聯(lián)網(wǎng)將在全球范圍內(nèi)產(chǎn)生1.46萬億美元的價值；而Chinaidr預測，屆時中國的物聯(lián)網(wǎng)市場規(guī)模將超過1.8萬億人民幣。人們普遍認為，中國將成為物聯(lián)網(wǎng)行業(yè)的主要參與者。得益于龐大的人口基數(shù)和低廉的芯片制造成本，中國將在推動全球物聯(lián)網(wǎng)市場增長上發(fā)揮重要的作用。

目前IoT行業(yè)在如下領域使用日趨廣泛和深入：

1.工業(yè)領域

工業(yè)領域是目前物聯(lián)網(wǎng)項目最多的應用領域，工業(yè)領域所涵蓋的能夠聯(lián)網(wǎng)的事物最豐富，比如印刷設備、車間機械、礦井與廠房等。

2.醫(yī)療領域

目前物聯(lián)網(wǎng)技術在醫(yī)療行業(yè)中的應用包括人員管理智能化、醫(yī)療過程智能化、供應鏈管理智能化、醫(yī)療廢棄物管理智能化以及健康管理智能化。最典型的應用就是可穿戴設備，這種幫助用戶實現(xiàn)個性化的自我健康管理的設備已經(jīng)成為很多注重健康人士的新寵。

3.智能交通與車聯(lián)網(wǎng)

當前，物聯(lián)網(wǎng)應用于智能交通已見雛形，并具有極強的發(fā)展?jié)摿ΑＮ锫?lián)網(wǎng)在智能交通的應用包括實時監(jiān)控系統(tǒng)、自動收費系統(tǒng)、智能停車系統(tǒng)和實時車輛跟蹤系統(tǒng)，可以自動檢測并報告公路、橋梁的健康狀況，并能幫助交通運輸業(yè)緩解能耗、污染以及擁堵等問題。

4.智能家居

物聯(lián)網(wǎng)解決了智能家居中設備聯(lián)網(wǎng)的問題。國內(nèi)已經(jīng)有很多不同領域的廠商開始涉足智能家居行業(yè)，包括互聯(lián)網(wǎng)科技廠商、傳統(tǒng)家電廠商以及互聯(lián)網(wǎng)巨頭。智能電視、智能音箱等智能硬件也可以當做智能家居的控制中心和樞紐，“人工智能+物聯(lián)網(wǎng)”將掀起改變生活方式的狂潮。

5.智慧物流

智慧物流是把條形碼、射頻識別技術、傳感器、全球定位系統(tǒng)等物聯(lián)網(wǎng)技術，廣泛應用于物流業(yè)運輸、倉庫、配快遞、包裝、裝卸等環(huán)節(jié)。智慧物流的崛起離不開電商爆發(fā)的催化，更離不開物聯(lián)網(wǎng)技術的加持。

IoT時代的數(shù)據(jù)特征

物聯(lián)網(wǎng)傳感器不斷從大量連接的各種各樣的設備接收數(shù)據(jù)。隨著連接設備數(shù)量的增加，物聯(lián)網(wǎng)系統(tǒng)需要可擴展以適應數(shù)據(jù)流入。分析系統(tǒng)處理這些數(shù)據(jù)并提供有價值的分析報告，這些報告將給企業(yè)帶來競爭優(yōu)勢。IoT大數(shù)據(jù)來源于物聯(lián)網(wǎng)設備傳感器產(chǎn)生的數(shù)據(jù)，與傳統(tǒng)大數(shù)據(jù)領域的數(shù)據(jù)特征不完全一樣，IoT大數(shù)據(jù)具有“6V”特點，如下所示：

容量（Volume）：數(shù)據(jù)量是判斷數(shù)據(jù)集為大數(shù)據(jù)、傳統(tǒng)的大規(guī)?；虺笠?guī)模數(shù)據(jù)的一個決定性因素，使用物聯(lián)網(wǎng)設備產(chǎn)生的數(shù)據(jù)量比以前要多得多，明顯符合這一特點。**

速度（Velocity）：物聯(lián)網(wǎng)大數(shù)據(jù)產(chǎn)生和處理速率要足夠高，以支持實時大數(shù)據(jù)的可用性。鑒于這種高數(shù)據(jù)率，也證明了需要先進的工具和技術分析才能有效地運作。**

多樣性（Variety）：一般來說，大數(shù)據(jù)有不同的形式和類型。這可能包括結構化的、半結構化的和非結構化的數(shù)據(jù)。各種各樣的數(shù)據(jù)類型可以通過物聯(lián)網(wǎng)產(chǎn)生，如文本、音頻、視頻、傳感器數(shù)據(jù)等等。

真實性（Veracity）：真實性是指質(zhì)量、一致性和數(shù)據(jù)的可信性，有真實性的數(shù)據(jù)才能進行準確的分析。這一點對于物聯(lián)網(wǎng)來說尤其重要，特別是那些群體感知數(shù)據(jù)。**

易變性（Variability）：這個屬性是指數(shù)據(jù)流的速率不同。由于物聯(lián)網(wǎng)應用的性質(zhì)，不同的數(shù)據(jù)生成組件可能會有不一致的數(shù)據(jù)流。此外，在特定時間，一個數(shù)據(jù)源的數(shù)據(jù)加載速率可能不同。例如，利用物聯(lián)網(wǎng)傳感器的停車服務應用在高峰期的數(shù)據(jù)加載會達到峰值。**

價值（Value）：價值是指大數(shù)據(jù)轉(zhuǎn)化成為有用的信息和內(nèi)容，為組織帶來競爭優(yōu)勢。數(shù)據(jù)的價值的高度不僅僅取決于對數(shù)據(jù)的處理過程或服務，還取決于對待數(shù)據(jù)的方式。

針對以上IoT的數(shù)據(jù)特征，IoT相關大數(shù)據(jù)以及AI分析工具需要解決如下數(shù)據(jù)計算問題：

越來越多的實時數(shù)據(jù)需求：目前需要更多的實時數(shù)據(jù)來支持IoT設備分析、操控、管理。比如需要IoT設備數(shù)據(jù)進行實時化分析進而直接反饋到工業(yè)車床進行加工參數(shù)調(diào)整。

越來越多的半結構化、非結構化數(shù)據(jù)分析需求：越來越多的IoT設備產(chǎn)生半結構化、甚至非結構化數(shù)據(jù)，包括日志、圖片、音頻、視頻。這些都需要大數(shù)據(jù)以及AI相關分析工具進行分析處理。**

越來越多的智能化數(shù)據(jù)處理需求：大量圖片、音頻、視頻場景，需要使用AI增強的實時化處理工具進行分析處理，而非傳統(tǒng)的數(shù)據(jù)庫和大數(shù)據(jù)工具。**

由數(shù)據(jù)分析人工決策到數(shù)據(jù)計算反向控制生產(chǎn)鏈路：IoT的大數(shù)據(jù)分析從產(chǎn)生報表進而交給人工決策，逐步過渡到數(shù)據(jù)計算結果直接反向控制生產(chǎn)鏈路，節(jié)省人力決策的成本。

解決方案

阿里云實時計算Flink版是阿里云打造的基于Apache Flink的企業(yè)級系列產(chǎn)品，其底層技術引擎由Flink創(chuàng)始團隊提供的商業(yè)化產(chǎn)品Ververica Platform所驅(qū)動。針對IoT時代下大數(shù)據(jù)分析的需求，阿里云實時計算Flink版結合阿里云整個IaaS以及PaaS的基礎設施，能夠為IoT客戶解決如下問題：

數(shù)據(jù)實時化處理：阿里云實時計算Flink版具備低延遲、高吞吐、一致性等特點，非常適合IoT的實時化數(shù)據(jù)清洗、分析、處理的計算需求。

越來越多的半結構化、非結構化數(shù)據(jù)分析需求：具備結構化數(shù)據(jù)處理(分析、統(tǒng)計類計算處理)，提供包括SQL、TableAPI、PyFlink等高效API解決數(shù)據(jù)分析難題；同時實時計算Flink版提供包括DataStream的Flink底層API，針對非結構化的音頻、視頻等內(nèi)容也能夠從容分析。

越來越多的智能化數(shù)據(jù)處理需求：提供流式數(shù)據(jù)底層框架，基于Flink開源API，用戶可以自由組合圖像、音頻、視頻處理算法包，提供靈活的智能化處理數(shù)據(jù)需求。

成功案例

協(xié)鑫光伏

引入阿里云飛天大數(shù)據(jù)平臺以來，光伏生產(chǎn)良品率已經(jīng)提升了1個百分點，節(jié)省成本數(shù)千萬。

客戶簡介

協(xié)鑫光伏坐落在環(huán)境優(yōu)美的蘇州工業(yè)園區(qū)，是全球領先的光伏材料制造商，硅片產(chǎn)品占國內(nèi)流通硅片的70%，處于國內(nèi)同行業(yè)龍頭地位。在技術研發(fā)、品質(zhì)控制、自動化升級等方面也都處于較高水平。

通過多年對生產(chǎn)流程的優(yōu)化，協(xié)鑫的生產(chǎn)效率和產(chǎn)品品質(zhì)始終保持著行業(yè)領先，然而，他們漸漸感到如果繼續(xù)保持傳統(tǒng)的方式，可優(yōu)化的空間將越來越小。對于追求卓越的協(xié)鑫人來說，生產(chǎn)品質(zhì)提升的最后一公里要怎么走，這無疑是一個巨大的難題。蘇州協(xié)鑫光伏總經(jīng)理曾表示：“未來蘇州協(xié)鑫的繼續(xù)突破還是要靠新技術和新產(chǎn)品。”

阿里云實時計算Flink版解決方案

智能制造的興起，將大數(shù)據(jù)分析引入到制造革命中。通過對生產(chǎn)數(shù)據(jù)的采集并上傳云端，能夠進行數(shù)據(jù)實時和長期分析，并對生產(chǎn)過程進行監(jiān)控，分析生產(chǎn)流程中可優(yōu)化的部分；監(jiān)控影響產(chǎn)品質(zhì)量的環(huán)節(jié)，對產(chǎn)品質(zhì)量進行量化分析和提升；對設備情況進行預測，優(yōu)化備本備件。

2016年協(xié)鑫光伏正式與阿里云合作，希望通過云計算、大數(shù)據(jù)等新一代信息技術推動內(nèi)部管理升級、進一步提高市場競爭力。此次合作的主要目標是透明化生產(chǎn)、數(shù)據(jù)化管理以及良品率提升。具體包括：

低成本長期保存協(xié)鑫生產(chǎn)過程所有數(shù)據(jù)；

通過大數(shù)據(jù)分析，建立良品率預測模型；

通過大數(shù)據(jù)分析，建立關鍵參數(shù)監(jiān)控模型，對生產(chǎn)過程監(jiān)控和報警；

通過阿里云BI系統(tǒng)，對協(xié)鑫生產(chǎn)數(shù)據(jù)做多維度統(tǒng)計分析；

通過阿里云大屏技術，建立車間和事業(yè)部生產(chǎn)大屏看板等多方面內(nèi)容。

整體技術框架可以分為三大部分，車間源數(shù)據(jù)、大數(shù)據(jù)存儲分析區(qū)，以及業(yè)務區(qū)。具體包括數(shù)據(jù)上云、關鍵參數(shù)

監(jiān)控模型、關鍵及全量參數(shù)標準曲線模型、生產(chǎn)過程監(jiān)控報警、良品率預測、備件損耗分析、大屏看板、BI分析。

客戶收益

經(jīng)過項目一期的實施，每年節(jié)省成本數(shù)千萬。

通過阿里云的大數(shù)據(jù)分析算法，協(xié)鑫光伏可以對生產(chǎn)過程中采集到的全部變量進行分析，找出與良品率最為相關的關鍵變量?！案鶕?jù)這些關鍵變量為協(xié)鑫光伏搭建生產(chǎn)的參數(shù)監(jiān)控模型，在生產(chǎn)過程中對這些變量進行分析處理，一旦變量超出模型范圍，協(xié)鑫光伏的監(jiān)測系統(tǒng)就會及時預警?！?/p>

協(xié)鑫光伏作為追求卓越的制造業(yè)企業(yè)代表，為同類企業(yè)轉(zhuǎn)型升級摸索出了一條道路。大數(shù)據(jù)作為企業(yè)的重要資產(chǎn)，借助于云計算等新技術，可以實現(xiàn)企業(yè)的智能改造和升級，完成提升生產(chǎn)效率和產(chǎn)品品質(zhì)的最后一公里。

協(xié)鑫與阿里云合作的模式可以直接復制，利用制造業(yè)企業(yè)的生產(chǎn)經(jīng)驗，和云計算、大數(shù)據(jù)分析提供的穩(wěn)定高效的大數(shù)據(jù)存儲、分析能力，打造企業(yè)級數(shù)據(jù)分析平臺。

上海鷗新

客戶簡介

上海鷗新軟件有限公司專注于室內(nèi)定位技術和客流統(tǒng)計與分析的研發(fā)，如室內(nèi)定位引擎、客流統(tǒng)計與分析系統(tǒng)。在用戶導入客流系統(tǒng)的同時，為商業(yè)零售實體店提供了覆蓋微信上網(wǎng)、定時定地點向客戶推快遞精準化商業(yè)信息等一體化解決方案。

業(yè)務需求

實時熱力圖，通過實時客流分析系統(tǒng)，制作每個樓層的實時熱力圖，不同顏色代表客流人數(shù)的密集程度。

實時客流統(tǒng)計圖，實時客流分析產(chǎn)品主要服務于商場運營方，提供的功能包括商場熱力圖、店鋪熱力圖、客流數(shù)、新老客占比、停留時間和客流時間分布等，為運營決策提供數(shù)據(jù)支持。

精準推快遞，WiFi采集到的地址跟現(xiàn)有數(shù)據(jù)庫進行碰撞，對碰撞出的用戶建立用戶畫像，根據(jù)來店情況可進行更為精準的推快遞。

位置定向廣告，與商場線下廣告屏幕打通，設定地理圍欄與規(guī)則，命中規(guī)則后個性化推薦相關廣告。

系統(tǒng)架構

整個系統(tǒng)的數(shù)據(jù)源都是WiFi，WiFi設備的布點是系統(tǒng)成功的關鍵。在WiFi鋪設的過程中會預先記錄好設備的位置（所屬樓層、平面坐標、所屬店鋪等），且根據(jù)業(yè)務情況來確認WiFi之間是否重疊：如果要精確，需要多點定位，否則盡量確保WiFi的范圍不重疊，防止數(shù)據(jù)互相污染。

數(shù)據(jù)流程

使用WiFi采集設備信息。

把采集的數(shù)據(jù)經(jīng)過SLB發(fā)國際快遞接收服務器。

接受服務器把數(shù)據(jù)發(fā)國際快遞消息隊列（DataHub）。

實時計算Flink版訂閱DataHub數(shù)據(jù)。

把設備采集到的用戶信息跟設備的地理位置信息進行關聯(lián)。

完成處理，然后把結果寫出供下游使用。

實時計算Flink版的處理邏輯：

數(shù)據(jù)清洗、去重。

維表關聯(lián)，用戶Mac地址與設備地理信息關聯(lián)，實時數(shù)據(jù)與歷史數(shù)據(jù)關聯(lián)。

手機品牌識別、位置識別、新客識別。

計算停留時間、生成軌跡。

說明：數(shù)據(jù)收集與清洗部分是整個系統(tǒng)的基礎，在這些數(shù)據(jù)的基礎上可再進行精準推快遞和位置廣告等服務。

業(yè)務總結

鷗新商場實時客流分析平臺涉及多臺線下設備（2000臺設備），實時計算Flink版每秒處理輸入30K條數(shù)據(jù)，每秒輸出20K條處理后的數(shù)據(jù)，整體延遲為秒級，整體收益包括：

節(jié)省運維成本：免運維，阿里云提供高保障；

對接上下游：直接注冊，免開發(fā)；

降低開發(fā)成本：SQL開發(fā)，效率高，門檻低，原來單作業(yè)Java開發(fā)3天的工作量降低到1天內(nèi)，且BUG少，整個系統(tǒng)重構只需一周。

這套系統(tǒng)打通了線下與線上，為商場的運營方提供了不同維度的數(shù)據(jù)支持，提高了運營活動的效果；為在顧客打造更好的購物體驗的同時也提升了商場的整體營收。商場實時客流分析系統(tǒng)是IoT技術與大數(shù)據(jù)實時處理技術結合起來的典型案例。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內(nèi)容、版權或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。