吉利汽車采用 EMQX 與 AutoMQ 聯(lián)合方案構建公私有云一體化的車聯(lián)網(wǎng)核心架構
關于吉利汽車
吉利汽車集團在中國上海、寧波、以及海外等地建有造型設計和工程研發(fā)中心，研發(fā)實力雄厚。在中國、馬來西亞建有世界一流的現(xiàn)代化整車和動力總 成制造工廠，擁有各類銷售網(wǎng)點超過 1400 多家，產(chǎn)品銷售及服務網(wǎng)絡遍布世界各地。
秉承“人本、創(chuàng)新、卓越”的價值觀，吉利汽車集團將“創(chuàng)造超越期待的出行體驗”作為使命，致力成為最具競爭力和受人尊敬的中國汽車品牌。
EMQX 與 AutoMQ 在吉利汽車車聯(lián)網(wǎng)混合云架構中的應用
隨著整個汽車出行領域智能化和網(wǎng)聯(lián)化的發(fā)展，用戶駕乘體驗對于乘用車來說至關重要，車機作為目前車內(nèi)智能化網(wǎng)聯(lián)化的代表，是“人-車-云”之間交互的窗口。通過車機和車企網(wǎng)聯(lián)平臺的連接，車企能夠?qū)崿F(xiàn)實時獲取車輛數(shù)據(jù)和車主使用情況，對車輛和車主進行精細化管理和維護提供個性化運營關懷，同時聯(lián)動手機APP更能為車主提供尋車定位、個人興趣點推送等優(yōu)質(zhì)的服務應用。各個汽車制造廠商正逐步構建起以“數(shù)據(jù)驅(qū)動，服務導向”為核心的車聯(lián)網(wǎng)平臺系統(tǒng)。
構建汽車網(wǎng)聯(lián)平臺通常面臨著以下挑戰(zhàn)：
汽車保有量不斷增長，如何支持海量車機并發(fā)連接
上下行多種業(yè)務數(shù)據(jù)，如何支持高并發(fā)消息吞吐
如何確保安全連接保障數(shù)據(jù)安全
車輛所處網(wǎng)絡環(huán)境復雜，如何保證消息實時性與可靠性
業(yè)務側(cè)對數(shù)據(jù)需求不同，如何實現(xiàn)靈活數(shù)據(jù)分流、存儲
車輛離線狀態(tài)時，如何保證消息觸達
建設成本高昂，長期運維困難
為了應對這些挑戰(zhàn)，吉利汽車的車聯(lián)網(wǎng)系統(tǒng)采用混合云架構構建。其中汽車遠程服務平臺（Telematics Service Platform，TSP）位于公有云環(huán)境，采用 EMQX 基于以 MQTT 協(xié)議的企業(yè)級數(shù)據(jù)接入平臺服務，為車聯(lián)網(wǎng)場景提供連接和數(shù)據(jù)解決方案。EMQX 的高性能、高可靠、可伸縮性設計，能夠可靠地實時移動和處理車聯(lián)網(wǎng)數(shù)據(jù)，幫助用戶解決鏈接和數(shù)據(jù)基礎設施層面的挑戰(zhàn)，開發(fā)團隊可專注上層應用的開發(fā)。
TSP 上報的數(shù)據(jù)通過 AutoMQ 傳輸至吉利大數(shù)據(jù)平臺（簡稱：GDMP）。GDMP 具備數(shù)據(jù)采集、低代碼開發(fā)、任務調(diào)度、數(shù)據(jù)地圖、質(zhì)量監(jiān)控、數(shù)據(jù)服務等能力，是吉利汽車大數(shù)據(jù)基座與數(shù)據(jù)開發(fā)治理平臺，承載了研、產(chǎn)、供、銷、服全鏈路業(yè)務線。
在汽車電動化、智能化、網(wǎng)聯(lián)化、共享化發(fā)展潮流下，車聯(lián)網(wǎng)數(shù)據(jù)年度以 PB 級增長，業(yè)務場景覆蓋面越來越廣。Kafka 作為企業(yè)車聯(lián)網(wǎng)數(shù)據(jù)的核心數(shù)據(jù)基礎設施，汽車業(yè)務快速的發(fā)展對 Kafka 的彈性能力、成本都提出了更高的要求。AutoMQ 作為新一代的 Kafka 完美解決了吉利汽車當前最為關切的 Kafka 擴縮容問題，保障了車聯(lián)網(wǎng)核心系統(tǒng)的正常運行。
解決方案
數(shù)據(jù)上報 EMQX 集群：汽車的終端設備會將車聯(lián)網(wǎng)所需的核心數(shù)據(jù)通過 MQTT 消息發(fā)往云端的 EMQX 集群用于 TSP 應用。TSP 將汽車與車企提供的車聯(lián)網(wǎng)服務能力結(jié)合起來，為車主提供救援、娛樂、救援、自動駕駛、固件升級等眾多服務能力。在吉利汽車公有云上，會部署一個 AutoMQ 集群，用于承接和分發(fā)來自公有云上車聯(lián)網(wǎng)TSP應用的數(shù)據(jù)。 AutoMQ 會作為車聯(lián)網(wǎng)數(shù)據(jù)上報的核心數(shù)據(jù)總線，提供強大的吞吐、可靠的持久化存儲和讀寫性能。
TSP: TSP（Telematics Service Provider）汽車遠程服務提供商。在 Telematics 產(chǎn)業(yè)鏈居于核心地位，上接汽車、車載設備制造商、網(wǎng)絡運營商，下接內(nèi)容提供商。Telematics 服務集合了位置服務、Gis 服務和通信服務等現(xiàn)代計算機技術，為車主和個人提供強大的服務：導航、娛樂、資訊、安防、SNS、遠程保養(yǎng)等。
數(shù)據(jù)流入 GDMP 的 AutoMQ 集群：公有云上 TSP 的數(shù)據(jù)會進一步通過專線流入吉利私有云大數(shù)據(jù)平臺 GDMP 中的 AutoMQ 集群。該 AutoMQ 集群中 Topic 的數(shù)據(jù)包含來自極氪汽車、領克汽車、吉利汽車等吉利集團旗下不同汽車品牌的車聯(lián)網(wǎng)數(shù)據(jù)，例如車輛數(shù)據(jù)、駕駛信息、GB/T32960國標規(guī)定的車聯(lián)網(wǎng)數(shù)據(jù)等。這些關鍵的車聯(lián)網(wǎng)數(shù)據(jù)會被下游的 Flink、Spark 以及 Kafka 消費者讀取和處理。數(shù)據(jù)最終會寫入數(shù)據(jù)湖，應用在吉利汽車的BI、數(shù)據(jù)分析和報表等場景。
用戶價值
吉利汽車旗下?lián)碛斜姸嗥嚻放?，近些年來隨著各品牌業(yè)務的強勁發(fā)展，車聯(lián)網(wǎng)的數(shù)據(jù)量也日益膨脹。通過采用 EMQX 與 AutoMQ 聯(lián)合方案，吉利汽車得以從容解決車聯(lián)網(wǎng)平臺建設的種種技術難題。
通過使用 EMQX 集群，吉利汽車實現(xiàn)了以下 TSP 建設目標：
（1）整體架構：分布式、高可用
由于數(shù)據(jù)保護的需要，車企車聯(lián)網(wǎng)平臺多采用私有化部署，EMQX 集群和用戶業(yè)務系統(tǒng)一同部署在 IDC 或公有云環(huán)境中。通過負載均衡與 EMQX 分布式集群部署，可以實現(xiàn)百萬級別的車機連接和數(shù)據(jù)吞吐能力，為上層業(yè)務應用提供堅實接入基礎。
（2）車機連接：高并發(fā)、高安全
車機通過蜂窩網(wǎng)絡物理鏈路、MQTT 協(xié)議接入 EMQX，EMQX 分布式高可用架構支持百萬級并發(fā)連接。連接安全方面，EMQX 支持 TLS 安全協(xié)議，車機可以通過單向、雙向TLS認證接入以及與 PKI/CA 系統(tǒng)對接適配一機一密的認證方案。另外，EMQX 能夠提供連接狀態(tài)實時感知。
（3）數(shù)據(jù)傳輸：多保障、高吞吐
依靠 MQTT 及 EMQX 提供的心跳監(jiān)測、會話保持、QoS 等級等多重保障機制，即使車輛因為網(wǎng)絡原因斷開連接，相應的消息傳遞仍能在重連后恢復，實現(xiàn)在復雜的網(wǎng)絡環(huán)境下實時、安全、可靠的車機消息通信。
基于訂閱、發(fā)布模式以及 EMQX 海量 MQTT 主題、百萬級TPS消息吞吐能力，EMQX 能夠支持在每個車機與平臺連接內(nèi)建立多個不同的邏輯隔離的 MQTT 主題，支撐上下行不同業(yè)務數(shù)據(jù)傳輸。為了實現(xiàn)等車輛狀態(tài)感知監(jiān)控、在線尋車等業(yè)務場景，車機實時上報車輛的位置、續(xù)航狀態(tài)等信息；為了實現(xiàn)用戶興趣點下發(fā)、關懷消息下發(fā)、運營消息下發(fā)等場景，云端車聯(lián)網(wǎng)平臺向車機推送相應的指令或業(yè)務消息。
針對用戶興趣點推送、養(yǎng)護關懷消息、運營消息等從云端下發(fā)到車機端的場景，平臺往往是針對車型等批量下發(fā)。但是下發(fā)時部分車輛可能處于掉線或熄火離線狀態(tài)，EMQX 的離線下發(fā)功能可以結(jié)合數(shù)據(jù)庫落盤緩存數(shù)據(jù)，在基礎接入層確保車機上線后能夠及時獲取到云端下發(fā)的消息。
（4）消息及事件的處理與集成：
通過內(nèi)置的規(guī)則引擎，可以將車機上報數(shù)據(jù)消息以及車機連接或斷連、消息送達確認等事件，進行預處理后橋接集成到相應的數(shù)據(jù)系統(tǒng)。例如將海量車機上行數(shù)據(jù)，經(jīng)過編解碼等預處理后，橋接到 Kafka 等消息隊列緩沖，后臺應用服務從容獲取數(shù)據(jù)進行業(yè)務分析應用；將車機連接、斷開連接等事件信息存儲到數(shù)據(jù)庫中，用于后續(xù)車輛上下線情況分析等。靈活的數(shù)據(jù)預處理及集成能力，可以讓上層業(yè)務應用更專注于應用的開發(fā)。
通過使用 AutoMQ 集群，吉利汽車解決了大數(shù)據(jù)平臺上一直面臨的 Kafka 成本與運維難題：
（1）零運維極速擴縮容
AutoMQ 的極速擴容得益于其創(chuàng)新的流存儲架構。由于將數(shù)據(jù)持久性卸載至云存儲，AutoMQ 內(nèi)部不像 Kafka 一樣需要配置多副本，因為云存儲本身內(nèi)部已經(jīng)有多副本并且提供了很高的持久性。這除了是對成本的節(jié)約以外，更重要的一點在于其在擴縮容的時候無需像 Kafka 一樣進行分區(qū)數(shù)據(jù)的復制，因此可以提供秒級的分區(qū)遷移能力。此外，其內(nèi)置持續(xù)運行的重平衡組件可以保證新加入的節(jié)點自動在保證集群利用率最優(yōu)的前提下完成安全可靠地引流。因此，整個極速擴容無需人工干預，完全自動化。這與過去運維 Kafka 的體驗形成了天壤之別。
（2）無需容量評估，降低運維成本
Kafka 的成本不僅僅體現(xiàn)在其 IaaS 資源的消耗，還有很大一部分比重在于組織上人力的投入。AutoMQ 本身基于 S3 提供了無限容量的流存儲能力，計算和存儲完全解耦，這意味著吉利汽車再也不需要擔心設置較長的保留時間引起的存儲空間不足問題。如果集群需要承載更大的吞吐需要擴容，AutoMQ 可以在非常短的時間自動化地完成擴縮容，因此吉利汽車無需像過去一樣先要準備預案、協(xié)調(diào)上下游應用、制定遷移計劃并在業(yè)務低峰時期進行擴容、遷移和引流。這將 Kafka 運維團隊徹底從復雜、高風險的擴縮容運維、容量評估等工作中解放出來，從而可以執(zhí)行具有更大價值的運維任務。
（3）100% 的 Kafka 兼容性
AutoMQ 對 Apache Kafka 的完全兼容是吉利選型的關鍵原因。這意味著吉利無需對已有圍繞 Kafka 建設的所有應用、工具甚至 Client 端的配置做任何改造，即可完成遷移。未來，吉利汽車也仍然可以利用 Kafka 強大的生態(tài)進一步去改進和迭代自身的數(shù)據(jù)基礎設施。
未來展望
隨著吉利汽車持續(xù)推進“智能汽車全域 AI”技術體系的深化落地，基于 EMQX 與 AutoMQ 構建的混合云架構將有機會成為其全域智能化的核心數(shù)據(jù)基座。未來，該方案將加速向智能制造、智能駕駛、全球服務網(wǎng)絡等場景延伸。
這一技術框架的復用，不僅強化了吉利在電動化、共享化領域的競爭力，更標志著中國汽車產(chǎn)業(yè)從“數(shù)據(jù)驅(qū)動”向“智慧生命體”演進的新范式。
吉利汽車集團 數(shù)字化基礎架構總工程師 洪旅杭
