第三屆信也科技技術沙龍:揭秘消息中間件的原理與實踐

(原標題:第三屆信也科技技術沙龍:揭秘消息中間件原理與實踐)

12月12日,由信也科技集團(NYSE:FINV)旗下佈道師FTE(FINV technology evangelist)主辦的技術沙龍在上海舉行,此次沙龍是面向互聯網研發人員的技術沙龍活動,至今已成功舉辦三屆。

本次沙龍的主題爲《消息中間件核心原理揭秘與最佳實踐》,主辦方信也科技邀請了來自攜程旅遊中通科技、信也科技等多家知名互聯網公司的資深專家,共聚一堂現場觀衆傳道、授業、解惑,給大家帶來了一場精彩的消息中間件分享大會。信也科技佈道師、基礎組件架構研究員赫傑輝主持了本次活動。

《消息中間件核心原理揭秘與最佳實踐》沙龍活動現場

來自攜程旅遊的資深架構師曹東帶來題爲《QMQ架構設計與實踐》的分享。曹東主要負責消息隊列監控,涉獵網絡協議,Web開發,對雲原生相關技術十分感興趣,他詳細介紹瞭如何利用本地事務實現消息的可靠投遞,如何利用時間輪技術實現任意時間延遲消息的投遞等乾貨

曹東的分享中最引人入勝的部分是爲提高QMQ性能所做的大量十分細緻的系統優化,包括:如何設計消息存儲文件的格式從而減少磁盤隨機讀寫;如何對消息數據進行重排並優化索引從而大幅降低IO峰值等。此外曹東對處理OOM,Full GC,句柄資源耗盡有自己獨到的見解,他對生產消費速度不匹配等問題進行了分析,提出瞭解決此類問題的辦法與最佳實踐方法。

中通科技的架構師丁威爲大家分享了《中通消息運維平臺架構實踐》。他是《Rocket MQ技術內幕》的聯合作者,Rocket MQ社區優秀的佈道師。他也是現任中通科技技術平臺資深架構師,負責消息中間件、全鏈路壓測、緩存、數據同步等,擅長JAVA主流中間件領域

丁威表示,中通科技綜合使用了Kafka和Rocket MQ應對不同的消息場景,爲屏蔽底層實現的差異,中通科技消息運維平臺提供了客戶端SDK,讓研發人員能夠基於統一的抽象模型進行高效開發。另外,中通科技基於各消息系統的Open API構建了可視化監控和統一告警等高級功能,該運維平臺的核心利器是ZMS Agent,通過它能夠十分便捷地做到消息系統的自動化運維與部署。

信也科技資深架構師李乘勝壓軸登場,爲大家分享了《信也科技消息系統核心原理與應用》。李乘勝是開源消息系統PMQ的作者,負責消息系統,微服務等基礎組件。他對分佈式高可用架構,多維度系統監控與自動化運維相關技術領域有深入研究

在本次沙龍活動中,李乘勝提出了消息發送慢、堆積、失敗和Topic如何治理等消息系統關鍵問題,並向大家介紹了PMQ的消息模型,消費模型設計,整體架構設計,高可用與動態平衡設計等PMQ核心原理。他詮釋了PMQ豐富而便利的運維功能與完善的監控治理能力,展示了PMQ優異的易用性可維護性。目前PMQ項目已在源代碼託管服務平臺GitHub正式開源。

圓桌討論環節,三位外界嘉賓和信也佈道師一同在集羣運維、版本升級、技術趨勢等方面發表了自己的觀點,並與現場觀衆進行了互動交流。

整個活動現場座無虛席,氣氛熱烈,大家紛紛表示收穫頗豐。舉辦沙龍旨在構建一個良好的技術分享平臺,爲互聯網研發人員提供技術交流與探討的機會。此次沙龍的成功舉辦提高了本土開源消息中間件的產品知名度,推動了國產消息中間件的推廣與落地,也踐行了信也科技始終堅持以科技爲本的發展理念。

自創立以來,信也科技始終堅持以科技爲本,積極響應國家的號召,把原始創新能力提升擺在更加突出的位置,努力實現更多"從0到1"的突破,科技創新的星辰大海、未來的無限可能性,其實更令人心潮澎湃。在未來,信也科技將持續在科技領域不斷地探索和創新,舉辦更多極思想性趣味性的技術沙龍和相關活動,讓最前沿的技術應用和最具洞察的觀點觸及更多技術人,促進科技成果的轉化,真正弘揚"爲技術發聲,讓技術發光"的精神。