杭州憶事科技有限公司對余開發EMQ是一家開源物聯網數據基礎設施軟件供應商,我們一直以開源為核心,產品覆蓋了消息和流處理,以及邊緣端的能力,主要目的是解決實時數據的移動、流處理和分析,希望服務產業的數字化、實時化、智能化轉型。
在運營商的努力下,我們現在面對的AIoT物聯網架構基本解決了連接的問題。在端側,有很多異構設備在實時產生數據,這些數據通過一個小網關進行初步匯聚,經過邊緣基站接入到核心網絡后,再進入到云數據中心,對數據分析處理后反饋到各個端——這是目前所看到的大部分物聯網架構的模型。
但是連接的問題解決了,數據與信息之間還是有很大的區別,即空有數據但不產生價值,物聯網數據并沒有真正反哺到業務層?,F在中國大部分AIoT企業的應用也只是停留在數據化的階段,而非數字化、信息化。
EMQ認為,物聯網時代的數字化轉型有四個趨勢:
一是全面的云原生轉向,從原來的業務上云、數據上云,轉變為無論是應用服務還是數據基礎設施應用服務,都逐步向云原生靠攏。不論是研發、部署,還是運維、測試,云原生理念目前已深入行業內部。
二是數據逐漸從云端下沉到邊緣端,如數據量比較高的V2X以及對于邊緣端的設備數據采集有要求的應用,使得邊緣計算開始崛起。但邊緣計算本身并不是完美的,其可能存在碎片化的問題也帶來了云邊協同的困難。
三是分布式云的發展,很多互聯網平臺和AIoT應用的開發者將原有的云原生技術向邊緣發展,把之前集中在公有云上的內容逐漸放到了分布式云中。
四是數據的類型也在發生變化,從移動互聯網時代由手機產生的具有明顯波峰波谷的交易型數據、事務型數據,轉變成由機器產生的連續不斷的分析型數據。接下來,我將詳細闡述物聯網全連接時代數據的范式變化。
數據生產主體和產生方式
數據產生主體從人類轉變為機器。人類行為產生的交易型數據可以有諸如雙十一、雙十二這種明顯的波峰波谷變化,而對于物聯網設備來說,往往每分鐘甚至每秒都在上報數據,沒有明顯的波峰波谷,而且這些數據具有非常明顯的時空上下文特征。
數據類型
對AIoT領域的數據來說,其產生的那一刻價值。例如當你使用充電樁時某一刻充電失敗了,這背后失敗的原因,對用戶來說才是價值的,所以需要從事務型數據轉變為流式數據,以進行實時的分析處理。
數據體量
在連接的問題解決之后,數據連接量就迎來了井噴式增長。根據的報告,全球的物聯網數據未來會達到ZB級別,這意味著大部分大型的物聯網平臺以后面對的數據量將從原來的GB時代過渡到PB、EB時代。
數據處理
對于海量數據并發連接的需求,同時又要做到實時的流式計算,原有的大數據架構必然要發生改變。之前是從數據的源頭把數據錄入到事先設計好的表中,在需要分析的時候從數據庫里把數據讀出來進行分析。而現在面對的數據很多都是半結構化、非結構化的,比如視頻、音頻之類的數據,對于這一類數據,往往在產生的那一刻不知道該怎么分析,需要有查詢的能力,才能把數據的價值發揮到,這就要求從原先的批處理方式過渡為流式計算,自然會產生新的數據庫。
綜合以上幾點,我們提出了四個原則,我們的產品也是基于這四個原則來設計和開發的。