您的位置:首頁 >聚焦 >

AeronCluster學習筆記-AeronCluster與數(shù)據(jù)庫|當前資訊

2022-11-18 21:18:35    來源:程序員客棧

本文將介紹AeronCluster與數(shù)據(jù)庫之間的關系與協(xié)作方式。

首先我們要強調,數(shù)據(jù)庫可以是 Aeron Cluster 的有力補充,但數(shù)據(jù)庫其實是可選的。每個 Aeron Cluster 在落地投產之前都需要回答以下問題:


(資料圖)

cluster要對系統(tǒng)進行記錄嗎(數(shù)據(jù)要落盤嗎)?集群將如何進行啟動?你想為關鍵的集群事件應用哪些可靠性選項?

我們分別對這幾個問題進行說明。

記錄型系統(tǒng)(System of Record)

一般來說,如果Cluster進程不是記錄型系統(tǒng),那么數(shù)據(jù)庫是可選的可能性更大。

對于記錄型系統(tǒng)而言,必要的事件可以通過網(wǎng)關進程發(fā)送到記錄系統(tǒng)。

請記?。?/p>始終考慮數(shù)據(jù)庫對特定使用場景的影響。如果你有監(jiān)控或其他原因需要依賴數(shù)據(jù)庫,那么就請使用數(shù)據(jù)庫。不要直接跳過數(shù)據(jù)庫,因為它在理論上是可供選擇使用的(按需架構)。對系統(tǒng)的狀態(tài)打快照,并對其進行標記(一般都是基于版本號,或者時間戳), 這可能是一項復雜的任務,特別是考慮到項目生命周期中涉及到數(shù)據(jù)結構的變化。仔細考慮如何更好地使用版本控制進行快照。引導Cluster啟動(Bootstrapping the Cluster)

引導Cluster啟動,也就是加載Cluster運行時所需的所有數(shù)據(jù)的啟動階段。這個過程通??梢曰趦煞N方式完成:

通過命令和快照引導Cluster啟動。在這種情況下,集群管理客戶端會被授予將引用和其他操作數(shù)據(jù)寫入集群的權限。而一旦加載了必要的數(shù)據(jù),集群就能夠完全從快照中啟動。通過數(shù)據(jù)庫引導啟動,可選擇是否使用快照。在這個場景中,一些外部進程和Cluster之間會約定通信協(xié)議,該協(xié)議會在集群啟動時被引導。外部進程從配置文件/數(shù)據(jù)庫中讀取數(shù)據(jù)。隨著數(shù)據(jù)發(fā)生變化,此過程可以向集群提交必要的命令。

在集群啟動時,開發(fā)者可以選擇從快照啟動,或清除任何快照——這取決于 SLA 和集群重啟頻率。

(扯了這么多,其實就是說,在有狀態(tài)的cluster啟動階段,是可以從數(shù)據(jù)庫中加載必要的數(shù)據(jù)到內存中,以還原之前狀態(tài)。)

集群事件和可靠性(Cluster Events & Reliability)

如果你正在將關鍵的Cluster事件寫入數(shù)據(jù)庫,你需要考慮所需的可靠性級別(事務隔離級別等),以及你將希望如何處理恢復場景。

這里舉一個場景:

集群、數(shù)據(jù)庫網(wǎng)關、數(shù)據(jù)庫均運行正常交易 1、2 和 3 下單完成,并由數(shù)據(jù)庫網(wǎng)關寫入數(shù)據(jù)庫此時數(shù)據(jù)庫服務器出現(xiàn)故障交易 4、5 和 6 下單成功。

簡單分析一下,1,2,3請求在內存中成功,但是寫db失敗,只要重啟,數(shù)據(jù)就會丟失。

那現(xiàn)在怎么辦?目前來看,至少有兩個選擇:

在集群內引入重試機制。思考一下,如果將重試放在數(shù)據(jù)庫網(wǎng)關內,如果失敗會怎樣(丟數(shù)據(jù)?。??將關鍵事件append到在集群中運行的專用 Aeron 存檔(Aeron Archive)。使用存檔偏移量( Archive offset)作為數(shù)據(jù)庫中的高水位線( high watermark)。如果數(shù)據(jù)庫出現(xiàn)故障,重新啟動數(shù)據(jù)庫網(wǎng)關。在數(shù)據(jù)庫網(wǎng)關啟動時,從數(shù)據(jù)庫中讀取最后寫入的高水位線并從該點處理集群的存檔。

第二種方案是可靠的,其實就是說,處理數(shù)據(jù)的時候記錄一下日志處理的進度,然后崩潰恢復之后從該位置繼續(xù)往后處理。這種方式的好處是,Aeron Archive底層會對Cluster的raftLog進行重放和恢復,保證冪等的前提下,這種機制不會因為重試而導致臟數(shù)據(jù)。

回想一下Archive的特性:

!! Archive主要用于業(yè)務系統(tǒng)中產生的事件日志的存儲。

我們可以將其類比Rocksdb。

在Aeron框架中,Archive主要用于raftLog、snapshopt的存儲以及raftLog的回放。

對于讀寫而言,有以下特點:

!! 存只能append

!! 讀只能根據(jù)某個位置往后讀,可以自行進行封裝,實現(xiàn)跨機器讀取Archive中的數(shù)據(jù),實現(xiàn)跨服務日志回放、數(shù)據(jù)同步功能(replay)

關鍵詞: 出現(xiàn)故障 主要用于 操作數(shù)據(jù)

相關閱讀