YashanDB V23.2 LTS發版

4月,YashanDB正式發佈長期支持版本YashanDB V23.2 LTS,標誌着YashanDB單機主備、共享集羣和分佈式實時數倉等完整產品體系,已全面進入可規模化使用的長期支持階段;同時配套數據遷移工具、監控運維工具和開發者工具,可以滿足支撐各類企業應用。

YashanDB V23.2 LTS 經過了嚴格全面的測試,涉及百萬級測試用例,歷經上百種長穩與壓力模型測試,持續運行30*24h以上,且通過數百種故障場景和百萬級持續極端暴力故障的可靠性驗證。作爲企業級用戶投產的長期支持版本,YashanDB V23.2滿足各類業務場景、尤其是核心生產場景對數據庫系統的嚴苛要求,是支撐金融、能源、政務等關鍵行業核心系統的里程碑版本。

在新版本中,YashanDB增強衆多企業級能力特性,在產品的性能、兼容性、易用性、可用性方面有了大幅度提升。

高性能:共享集羣雙節點TPCC性能達312W

共享集羣雙節點 TPCC性能達312W

23.2 LTS版本共享集羣作爲一個里程碑版本,具備規模化商用能力,面向高端核心業務場景提供透明多寫、高可用以及高性能的數據庫能力。

基於如下的環境配置,

經實測,在客戶端、服務端分機部署模式下,兩節點1000倉700併發運行10分鐘,TPCC性能達312W;並且基於此環境,共享集羣產品穩定運行,通過7*24小時長穩測試。

組網環境如下:

客戶端服務器

CPU 96 Core/256G Mem/100Gb Nic/ SATA 500GB*1

數據庫服務器

CPU 96 Core/512G Mem/100Gb Nic/NVMe 3.84TB*2

WDS存儲服務器

CPU 96 Core/256G Mem/100Gb Nic/4 x NVMe 3.84TB

網絡交換機

100Gb/s 交換機

存儲配置如下:

設備類型

分佈式塊存儲產品

設備型號

華瑞指數雲SDS2.0 WDS V3

詳細參數

硬盤:4 x NVMe 3.84TB

端口:100Gb Nic

緩存容量:256GB緩存

數量

服務器:3臺

每臺硬盤數量:4塊 (容量14TB)

增量同步性能提升8倍

對於數據倉庫,數據增量同步入庫能力是一個非常關鍵的能力。23.2 LTS對這部分能力進行了優化,極大提升了數據增量同步入庫的性能,對於lineitem表模型,單任務同步性能由原來1MB/s提升到8MB/s:

通過優化降低數據同步任務的內存開銷,使得併發數據同步得到提升,並且保持接近1的擴展比;

通過對同步任務流水線優化,提升同步任務的性能;

將增量同步入庫的數據直接寫入穩態數據,使得數據存儲具備較高的壓縮比,同時使得數據入庫即可獲得較高的查詢訪問性能。

更強的兼容性:Oracle兼容能力大幅提升

V23.2 LTS在V23.1版本的基礎上,廣泛吸納了在銀行、證券、能源、政務等多個業務場景中的實際需求,持續提升產品的Oracle兼容性,讓更多的業務場景可以利用V23.2 LTS進行平滑應用遷移。

語法、語義、高級特性兼容能力全面增強

首先是數據類型方面。V23.2 LTS開發了float(n)類型,爲用戶提供更高精度的浮點數類型。該數據類型的使用語法、數值範圍、有效數字,均與Oracle完全兼容。

其次是內置高級包。V23.2 LTS自帶一系列程序包,這些程序包將用戶使用SQL語句或PL語句難以完成的功能以PL函數、存儲過程的方式提供給用戶,以方便用戶完成複雜的數據管理、系統運維任務。V23.2 LTS新增對以下高級包的支持:

高級包

功能

DBMS_SQL

解析、執行動態SQL

DBMS_LOB

創建、讀取、修改LOB

DBMS_ROWID

提取ROWID中的信息

最後,在過程語言(PL)方面,V23.2 LTS新增與Oracle兼容的批量能力,包括BULK_COLLECT、FORALL,以提升存儲過程中批量語句執行的效率。

共享集羣內核功能增強

V23.2 LTS共享集羣支持了DBLink、二級分區以及統計信息自動收集等,同時支持用戶創建自定義本地臨時表空間、本地swap表空間,提供實例級的臨時數據訪問服務,降低實例間的信息交互,提升相應業務場景下的性能。

支持外部表,數據查詢更便捷

V23.2 LTS新增了對外部表功能的支持,語法上兼容了Oracle 19C。在YashanDB中創建只讀外部表,可以指定鏈接存儲系統上的具體CSV文件或者是數據目錄對象DIRECTORY的文件,用戶無需將外部數據導入數據庫後再進行處理,而是可以像訪問普通表一樣訪問外部表。當涉及大規模數據處理和分析時,外部表可以直接在存儲系統上執行查詢,避免了數據傳輸的開銷,顯著降低了數據存儲成本,提高了查詢性能。

更加完備的高可用能力

備份恢復功能增強

數據備份和恢復是數據高可用的最後一道防線,對於用戶系統的穩健運營至關重要。缺乏有效的備份和冗餘機制,可能導致重要數據的永久丟失和損壞。V23.2 LTS共享集羣支持了yasrman備份恢復工具,方便用戶備份與備份管理,同時支持PITR(Point-In-Time Recovery,基於時間點的數據恢復技術)恢復以及遠程備份,用戶可以靈活使用相關的備份恢復能力。

數據容災恢復增強

另外,V23.2 LTS共享集羣在YFS元數據被破壞時,可以從fast recovery area(快速恢復區域)獲取備份數據,並做自動恢復。同時在多failgroup的情況下,支持數據多副本能力,用戶可以通過多副本機制進行數據校驗和恢復,從多方面增強系統的可靠性。

更低的使用成本

新增2副本部署,數據存儲成本降低1/3

數據存儲是數據倉庫系統中最昂貴的組件,尤其是在處理大數據時,數據存儲的成本尤爲突出。爲了降低業務高可用模式下的數據存儲成本,V23.2 LTS存儲服務DN組引入了一主一備這種高可用部署形態,使得業務在獲得高可用能力的同時,數據存儲由3副本變成2副本,數據存儲成本下降1/3。同時,DN組一主一備的部署形態還支持故障自動切換能力,高可用能力滿足RTO<10S,RPO=0。

更好的易用性

V23.2 LTS在易用性上做了大量提升,讓運維、數據壓縮等操作都變得更加簡單和高效。

易運維,高效管理

AWR報告中增加了共享集羣相關的章節信息(Global Cache Load Profile、Global Cache Efficiency Percentages等),提供了運行期間各種集羣相關的統計數據,用戶可以更好的瞭解共享集羣性能表現。同時,V23.2版本對集羣相關的參數做了優化,部分參數採用了自調優策略,降低用戶使用成本,同時實現共享集羣后臺服務線程自管理。

自適應編碼,提供高效的數據壓縮能力

存儲支持表字段的自適應編碼,用戶建表不用指定字段的編碼類型,系統自動探測選擇較優的編碼類型,達到較優的編碼壓縮效果,做到”用戶無感知“,大大降低用戶使用門檻。

支持一鍵式收集操作系統和數據庫信息

爲了更快定位問題和優化系統,YashanDB在V23.2版本提供一鍵式診斷所需信息,包含操作系統基本信息、操作系統和數據庫日誌、數據庫配置信息和數據庫視圖等信息,同時打包到指定目錄,可以更快、更準地獲取到便於定位定界的相關信息,支撐問題解決和性能優化。

更完備的工具體系

在此次版本迭代中,YashanDB全新上線開發、遷移以及運維工具,實現從安裝部署、一鍵遷移、智能運維到應用開發的全生命週期管理,幫助用戶簡化學習及運維成本。

支持MySQL、DM8等多款數據庫遷移

V23.2 LTS配套的崖山遷移平臺(Yashan Migration Platform,YMP)新增MySQL、DM8等數據庫離線遷移至YashanDB鏈路,同時新增統計校驗、全量校驗、失敗重試、批量改寫、遷移容錯、暫停恢復等功能。

新增分佈式可視化運維能力

V23.2 LTS實現了分佈式可視化運維能力,通過YashanDB 監控運維工具(YashanDB Cloud Manager,YCM)納管YashanDB分佈式數據庫,目前支持對單機、共享集羣以及分佈式全產品形態的巡檢管理、監控告警、備份恢復和慢SQL分析等可視化功能,實現了便捷的運維效率。

開發者工具全新發布

V23.2 LTS同時配套全新的開發者工具YDC V1.0 (YashanDB Developer Center,YDC),用戶可通過YDC可視化地管理數據庫中的表、視圖、函數等數據庫對象。具有豐富的功能和工具,支持數據庫連接管理、SQL編輯及運行、智能IDE、圖形化對象管理、執行記錄、日誌、結果集顯示以及PL/SQL DUBUG等。

強化開源產品化應用能力

支持sqlalchemy方言包,可通過sqlalchemy框架訪問YashanDB數據庫;

支持Prometheus監控系統,通過yashandb-exporter組件可以自定義採集yashandb的監控項;

支持使用數據同步工具DataX向YashanDB數據庫進行全量遷移;

支持通過GeoServer地理空間系統對YashanDB地理空間數據進行可視化訪問。

自YashanDB個人版全面開放下載以來已收到很多寶貴的產品改進建議,在此也全新推出YashanDB V23.2個人版(download.yashandb.com),歡迎前往官網關注瞭解更多新增和優化特性。