本期我們就以Google經(jīng)典運(yùn)維體系理念——SRE為例，通過(guò)對(duì)SRE的主旨內(nèi)容剖析，梳理SRE與運(yùn)維開(kāi)發(fā)之間的聯(lián)系，同時(shí)通過(guò)典型SRE落地案例詳解，與大家一同探討SRE在金融行業(yè)的落地經(jīng)驗(yàn)。

01. SRE主旨內(nèi)容概覽

1）什么是SRE

首先我們來(lái)看看SRE的幾個(gè)定義：

分別來(lái)看，起源于Goole的SRE相對(duì)于它的組織來(lái)說(shuō)，定義得是較為契合的，首先Google具備較強(qiáng)實(shí)力的人才儲(chǔ)備，其次，經(jīng)過(guò)了大量的內(nèi)部實(shí)踐，是經(jīng)得起考驗(yàn)的，同時(shí)由內(nèi)而外的推動(dòng)使得這一體系的落地情況也比較全面。但對(duì)于國(guó)內(nèi)企業(yè)來(lái)說(shuō)， 全能型的人才稀缺以及傳統(tǒng)理念的固化讓這一定義顯得并不是那么的完善。

站在國(guó)內(nèi)企業(yè)自身的角度來(lái)看，我們更傾向于第三種：從實(shí)踐角度看 SRE 的關(guān)鍵點(diǎn)，就一個(gè)詞：體系化，我們需要用全局視角才能更透徹的理解它。SRE實(shí)際上是需要多個(gè)團(tuán)隊(duì)、多個(gè)崗位分別去承擔(dān)不同職能，并且各個(gè)團(tuán)隊(duì)之間能夠相互協(xié)作合力，同時(shí)對(duì)外與業(yè)務(wù)團(tuán)隊(duì)、產(chǎn)品團(tuán)隊(duì)連接，構(gòu)建工具去實(shí)現(xiàn)日常的運(yùn)維和運(yùn)營(yíng)。

2）SRE與DevOps關(guān)系

本質(zhì)上來(lái)講SRE與DevOps沒(méi)有很大差別，都是伴隨著分布式、云原生、容器化、微服務(wù)等技術(shù)所衍生出來(lái)的一些理念，我們可以理解為DevOps是SRE核心理念的普適版。相比起來(lái)，DevOps比較抽象，而SRE是Google將DevOps具體實(shí)踐后所提煉出來(lái)的理論體系。

3）SRE指導(dǎo)思想與關(guān)鍵概念

SRE具備以下幾個(gè)指導(dǎo)思想：

• 擁抱風(fēng)險(xiǎn)：不確定性始終存在，我的目標(biāo)是通過(guò)一系列的方法，去減少風(fēng)險(xiǎn)。
• 服務(wù)質(zhì)量目標(biāo)：透過(guò)具體指標(biāo)反應(yīng)運(yùn)維水準(zhǔn)，反過(guò)來(lái)約束失誤可靠性。
• 減少瑣事：減少日常重復(fù)、人工介入的工作，與自動(dòng)化聯(lián)動(dòng)。
• 分布式系統(tǒng)監(jiān)控：全局可觀測(cè)性建立。
• 自動(dòng)化系統(tǒng)：與減少瑣事對(duì)應(yīng)，增強(qiáng)自動(dòng)化能力。
• 發(fā)布工程：在確保穩(wěn)定性的基礎(chǔ)上，盡可能快的進(jìn)行發(fā)布，滿足業(yè)務(wù)需求。
• 盡可能簡(jiǎn)單化：工具、工作盡可能簡(jiǎn)單。

圍繞以上指導(dǎo)思想，我們可以將SRE的一些關(guān)鍵概念串聯(lián)起來(lái)，從而對(duì)SRE體系有更明確的認(rèn)知。

關(guān)鍵概念上，主要分為四個(gè)層面：

• 指標(biāo)層：具體描述與SRE相關(guān)的指標(biāo)
• 標(biāo)準(zhǔn)層：SRE相關(guān)系列標(biāo)準(zhǔn)
• 工具層：核心常用工具
• 體系層：圍繞SRE建立的流程制度與體系

4）SRE崗位/團(tuán)隊(duì)的主要工作

了解了SRE整個(gè)體系的工作方式與方法以后，SRE具體團(tuán)隊(duì)在做什么樣的內(nèi)容呢？主要分以下三個(gè)板塊：

• 參與運(yùn)維架構(gòu)標(biāo)準(zhǔn)制定：包括一些技術(shù)組件如何選擇、日志規(guī)范如何設(shè)計(jì)、以及其他系統(tǒng)的規(guī)范和標(biāo)準(zhǔn)的制定。
• 運(yùn)維產(chǎn)品開(kāi)發(fā)：當(dāng)標(biāo)準(zhǔn)梳理清楚之后，在運(yùn)維日常工作方面，將瑣事提煉為產(chǎn)品需求、規(guī)劃能力，從而以產(chǎn)品為中心提升自動(dòng)化，同時(shí)需要注意各個(gè)工具之間如何融合打通，避免煙囪式的建設(shè)。
• 日常技術(shù)運(yùn)營(yíng)：在標(biāo)準(zhǔn)化、平臺(tái)化之后，針對(duì)運(yùn)維日常工作進(jìn)行改進(jìn)和優(yōu)化。

在這個(gè)過(guò)程中，我們可以下一個(gè)論斷，即：運(yùn)維模式/體系的下一站是SRE，而運(yùn)維技術(shù)的下一站是AIOps。

5）SRE方法論

方法論層面，主要有以下幾個(gè)重要點(diǎn)：

• 確保長(zhǎng)期關(guān)注研發(fā)工作：Google將SRE團(tuán)隊(duì)的運(yùn)維工作限制在50%以內(nèi)。
• 監(jiān)控系統(tǒng)：一個(gè)監(jiān)控系統(tǒng)應(yīng)該只有三類輸出：緊急警報(bào)（立即執(zhí)行）/工單（短期內(nèi)執(zhí)行）/日志（被動(dòng)關(guān)注）。
• 變更管理：漸進(jìn)式發(fā)布、迅速而準(zhǔn)確地檢測(cè)問(wèn)題、安全迅速回退
• 資源部署：資源的部署是變更管理與容量規(guī)劃的結(jié)合物
• 在保障服務(wù)SLO的前提下最大化迭代速度：系統(tǒng)總是不穩(wěn)定，通過(guò)引進(jìn)“錯(cuò)誤預(yù)算”的概念，解決研發(fā)團(tuán)隊(duì)和SRE團(tuán)隊(duì)之間的組織架構(gòu)沖突。
• 應(yīng)急事件處理：以MTTR為核心，不靠萬(wàn)能工程師，靠運(yùn)維手+on-call人員常規(guī)性解決
• 需求預(yù)測(cè)和容量規(guī)劃：保障一個(gè)業(yè)務(wù)有足夠的容量和冗余度去服務(wù)預(yù)測(cè)中的未來(lái)需求
• 效率與性能：SRE也必須承擔(dān)起任何有關(guān)利用率的討論及改進(jìn)。

02. SRE運(yùn)維平臺(tái)與運(yùn)維開(kāi)發(fā)

1）運(yùn)維管理平臺(tái)：實(shí)現(xiàn)SRE運(yùn)維開(kāi)發(fā)的底座

SRE反復(fù)強(qiáng)調(diào)運(yùn)維組織需要大量的參與到運(yùn)維工具開(kāi)發(fā)中去，來(lái)實(shí)現(xiàn)SRE的轉(zhuǎn)型。而做工具的開(kāi)發(fā)，傳統(tǒng)企業(yè)與互聯(lián)網(wǎng)公司會(huì)有較大的區(qū)別。

• 對(duì)于大型的互聯(lián)網(wǎng)企業(yè)而言，由于具備較強(qiáng)的開(kāi)發(fā)能力，企業(yè)可以基于開(kāi)源去打造各類工具，同時(shí)也可以不基于平臺(tái)，或者基于弱平臺(tái)去做各個(gè)工具的打通。
• 而對(duì)于傳統(tǒng)企業(yè)來(lái)說(shuō)，是比較難以去從零開(kāi)始打造一個(gè)新的平臺(tái)的，同時(shí)不同的開(kāi)源工具之間的打通也比較難以靠自身去實(shí)現(xiàn)。

因此對(duì)于大多數(shù)企業(yè)來(lái)說(shuō)，要實(shí)現(xiàn)SRE運(yùn)維開(kāi)發(fā)，需要一個(gè)統(tǒng)一的底座——具備通用能力、通用開(kāi)發(fā)框架，同時(shí)提供統(tǒng)一的資源納管，以及資源驅(qū)動(dòng)等能力，借助統(tǒng)一底座，下層資源統(tǒng)一納管實(shí)現(xiàn)數(shù)據(jù)打通和能力擴(kuò)展，上層通用能力框架實(shí)現(xiàn)工具開(kāi)發(fā)，可控生長(zhǎng)，建立基于平臺(tái)的完整運(yùn)維開(kāi)發(fā)體系。

其中包括幾個(gè)典型的場(chǎng)景：

CMDB——SRE運(yùn)維管理體系的基石，建立消費(fèi)驅(qū)動(dòng)的，可視、可用、可信、可靠的運(yùn)維高質(zhì)量CMDB，支撐運(yùn)維開(kāi)發(fā)轉(zhuǎn)型。

可觀測(cè)性——助力SRE實(shí)現(xiàn)全鏈路追蹤與問(wèn)題根因定位。構(gòu)建trace、log、metric關(guān)聯(lián)分析鏈路，依賴于平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一處理。

自動(dòng)化編排引擎——SRE自動(dòng)化運(yùn)維的抓手，自動(dòng)化場(chǎng)景的建設(shè)需要底層引擎的支撐，調(diào)用基本能力構(gòu)建上層自動(dòng)化體系，支撐SRE工具能力拓展。

03. SRE在金融行業(yè)落地探討

1）落地案例分析

以國(guó)內(nèi)某大型銀行SRE實(shí)踐為例，其SRE落地進(jìn)程有以下幾個(gè)重要關(guān)鍵點(diǎn)：

① 確定SRE落地的核心理念：

符合長(zhǎng)期戰(zhàn)略，改善運(yùn)維手動(dòng)、重復(fù)性工作，建立SRE團(tuán)隊(duì)提升運(yùn)維價(jià)值。

② 組建SRE試點(diǎn)團(tuán)隊(duì)：

包含團(tuán)隊(duì)負(fù)責(zé)人，輪值團(tuán)隊(duì)經(jīng)理，業(yè)務(wù)核心技術(shù)成員，其他部門協(xié)助人員，從不同的團(tuán)隊(duì)中抽調(diào)相應(yīng)人員，保證每位人員都清楚的認(rèn)知SRE的建設(shè)目標(biāo)，力出一孔。

③ SRE工作模式：采取平戰(zhàn)結(jié)合模式。

• 平時(shí)建設(shè)（即日常模式）：解決運(yùn)維日常問(wèn)題，保證系統(tǒng)可用性、可靠性、穩(wěn)定性，減少出故障的時(shí)間和概率，保障運(yùn)維質(zhì)量。
• 戰(zhàn)時(shí)應(yīng)急（即應(yīng)急模式）：建立快速處理機(jī)制，SRE團(tuán)隊(duì)開(kāi)展故障處置，第一時(shí)間恢復(fù)生產(chǎn)。

戰(zhàn)時(shí)應(yīng)急依賴于平時(shí)建設(shè)的工具、自動(dòng)化能力、問(wèn)題總結(jié)等，形成平戰(zhàn)結(jié)合的工作模式。

④ SRE團(tuán)隊(duì)OKR：

團(tuán)隊(duì)OKR的制定與工作模式緊密配合，通過(guò)平戰(zhàn)結(jié)合的模式，實(shí)現(xiàn)全景業(yè)務(wù)系統(tǒng)可感可見(jiàn)，應(yīng)急處置可管可控，業(yè)務(wù)指標(biāo)可計(jì)可析。同時(shí)SRE團(tuán)隊(duì)建立三會(huì)機(jī)制，即周例會(huì)、月例會(huì)、專題會(huì)，保證日常工作與專項(xiàng)事宜的快速處理。

目前來(lái)看該行的SRE實(shí)踐是比較成功的，其核心在于SRE團(tuán)隊(duì)的組建，一方面需要有開(kāi)發(fā)人員介入，核心業(yè)務(wù)人員要懂開(kāi)發(fā)，懂架構(gòu)，具備運(yùn)維開(kāi)發(fā)能力。另一方面需要具備組織能力，SRE建設(shè)目標(biāo)分解到各個(gè)團(tuán)隊(duì)中，人員之間實(shí)現(xiàn)能力的融合，從而形成體系化的組織，推進(jìn)整體SRE進(jìn)程。

除此之外我們對(duì)眾多企業(yè)SRE進(jìn)程和落地實(shí)踐也進(jìn)行了詳細(xì)的深入分析，包含農(nóng)業(yè)銀行、騰訊、美圖等，如您感興趣，歡迎點(diǎn)擊了解詳情！

2）經(jīng)驗(yàn)探討

① SRE是否適合在金融行業(yè)落地？

SRE是一個(gè)體系化的過(guò)程，從組織架構(gòu)、到文化宣貫、到工具構(gòu)建、到人員能力配備都具備以后，才能形成完整的SRE體系。

• 在中大型銀行來(lái)說(shuō)式比較適合的，中大型銀行未來(lái)運(yùn)維通常都會(huì)向著分布式、微服務(wù)、容器以及云架構(gòu)方向去發(fā)展，同時(shí)運(yùn)維團(tuán)隊(duì)規(guī)模比較大，擁有足夠的團(tuán)隊(duì)和資金支撐SRE落地。
• 對(duì)于中小型銀行來(lái)說(shuō)，通常會(huì)以傳統(tǒng)架構(gòu)為主，有的單位會(huì)建設(shè)一部分云資源。如果說(shuō)短期內(nèi)企業(yè)并沒(méi)有短期內(nèi)進(jìn)行容器化、分布式的建設(shè)規(guī)劃的話，落地SRE是比較困難的。

我們建議可以先針對(duì)其中某一方向，例如工具向平臺(tái)化層面去靠攏，同時(shí)如果還有富余的精力的話可以考慮進(jìn)行一部分運(yùn)維開(kāi)發(fā)能力的建設(shè)，除此之外組織能力也可以適當(dāng)培養(yǎng)，從而一步一步向SRE邁進(jìn)，而不是一步登天。

② 如果要落地，需要注意哪些事項(xiàng)？

主要有3個(gè)重點(diǎn)：

• 標(biāo)準(zhǔn)規(guī)范制定：標(biāo)準(zhǔn)化、規(guī)范化是體系建立的第一步，運(yùn)維的標(biāo)準(zhǔn)規(guī)范需要與開(kāi)發(fā)與業(yè)務(wù)達(dá)成一致。
• 具備軟件開(kāi)發(fā)能力：能夠把運(yùn)維訴求變成運(yùn)維產(chǎn)品，然后把運(yùn)維產(chǎn)品，最終落地成為具體的工具、系統(tǒng)。
• 組織變革：SRE是運(yùn)維與開(kāi)發(fā)的能力結(jié)合，需要一部分懂開(kāi)發(fā)的運(yùn)維人員，也需要一部分理解運(yùn)維體系的開(kāi)發(fā)人員，運(yùn)維與開(kāi)發(fā)需要相互理解，從而將彼此訴求融入到自己的工作中。