之前我們分析了銀行等金融機構(gòu)的運維組織架構(gòu)現(xiàn)狀，討論運維組織敏捷化轉(zhuǎn)型的背景，最后解釋了什么是敏捷型的運維組織以及如何打造敏捷型的運維組織，本文我們重點來關(guān)注架構(gòu)實施層面：金融業(yè)分布式系統(tǒng)運維實踐。

分布式系統(tǒng)，無論在互聯(lián)網(wǎng)行業(yè)亦或是傳統(tǒng)行業(yè)，都不再是新興事物，互聯(lián)網(wǎng)公司推行較早，傳統(tǒng)行業(yè)近幾年也開始發(fā)力建設(shè)。對于運維人來說，分布式系統(tǒng)的運維與傳統(tǒng)集群式系統(tǒng)的運維大相徑庭，我們今天就來探討一下分布式運維的建設(shè)。

01. 分布式運維的挑戰(zhàn)

1）分布式系統(tǒng)的定義

分布性：由多臺計算機組成，在地域上是分散的；系統(tǒng)功能分布在各個節(jié)點上，具有數(shù)據(jù)處理的分布性；
自治性：各個節(jié)點都包含自己的處理機和內(nèi)存，具備獨立處理數(shù)據(jù)的功能，通常彼此地位平等，無主次之分；
并行性：一個大的任務(wù)可以劃分為若干個子任務(wù)，分別在不同的主機上執(zhí)行；
全局性：存在單一的、全局的進(jìn)程通信機制，使得任何一個進(jìn)程都能與其他進(jìn)程通信，并且不區(qū)分本地通信與遠(yuǎn)程通信，同時還有全局的保護(hù)機制。

02. 穩(wěn)定性建設(shè)目標(biāo)

1）建設(shè)目標(biāo)主要有兩個：

降發(fā)生：事前的管理，通過建設(shè)“高可用、高性能、高質(zhì)量”的系統(tǒng)來降低故障發(fā)生的概率；

降影響：事后的管理，在故障發(fā)生后，“早感知、快定位、急止損、優(yōu)改進(jìn)”，降低影響范圍。

2）量化評價指標(biāo)三個：

• 業(yè)務(wù)可用程度；

• 用戶影響程度；

• 資產(chǎn)損失程度。
• 
  
• 
  

03. 穩(wěn)定性運維建設(shè)模式

分布式運維建設(shè)模式主要分為：架構(gòu)設(shè)計、容量設(shè)計、運維設(shè)計、安全設(shè)計。我們主要看下和運維相關(guān)的要點。

1）架構(gòu)設(shè)計

一般情況下，架構(gòu)設(shè)計主要由研發(fā)部門主導(dǎo)，但是運維人員不能只是作為后端被動承接系統(tǒng)的運維，最好在架構(gòu)設(shè)計階段就提出規(guī)范，滿足穩(wěn)定性運維的要求：

① 去除單點

• ② 依賴設(shè)計

  高等級服務(wù)不允許強依賴于低等級的服務(wù)或資源。

• 
  

• ③ 數(shù)據(jù)保護(hù)

  數(shù)據(jù)保護(hù)的主要目的是提升數(shù)據(jù)安全性，業(yè)界一般通過RPO（恢復(fù)點目標(biāo)）與RTO （恢復(fù)時間目標(biāo)）兩個指標(biāo)進(jìn)行度量，核心目標(biāo)是盡可能縮短數(shù)據(jù)恢復(fù)時間（降低RTO），避免數(shù)據(jù)丟失（RPO接近于0）。
  針對不同的業(yè)務(wù)系統(tǒng)、分布式系統(tǒng)里面不同的服務(wù)模塊，需要有對應(yīng)級別的數(shù)據(jù)保護(hù)考量。
  服務(wù)器單點保護(hù)：基于本地盤跨機房異步復(fù)制數(shù)據(jù)，但服務(wù)器出現(xiàn)不可恢復(fù)故障時將存在數(shù)據(jù)丟失
  存儲單點保護(hù)：基于單存儲數(shù)據(jù)庫系統(tǒng)跨機房異步復(fù)制，但存儲出現(xiàn)不可恢復(fù)故障時將存在數(shù)據(jù)丟失
  同機房內(nèi)多點保護(hù)：基于同機房多點保護(hù)的數(shù)據(jù)庫系統(tǒng)，同機房多份redo及跨機房異步復(fù)制模式，但機房故障時存在數(shù)據(jù)丟失
  同城異機房保護(hù)：基于同城異機房保護(hù)的數(shù)據(jù)庫系統(tǒng)，采取同城異機房內(nèi)多份redo保護(hù)及跨機房DG，但城市出現(xiàn)災(zāi)備時存在數(shù)據(jù)丟失
  異地異機房保護(hù)：基于異地多點保護(hù)的數(shù)據(jù)庫系統(tǒng)，采取跨城跨機房數(shù)據(jù)保護(hù)，但出現(xiàn)人類災(zāi)難時存在數(shù)據(jù)丟失

④ 災(zāi)備設(shè)計
當(dāng)故障或者災(zāi)難發(fā)生時，可通過災(zāi)備技術(shù)保證業(yè)務(wù)不中斷、數(shù)據(jù)不丟失。針對不同的業(yè)務(wù)場景，綜合成本與效果的考量，選擇相應(yīng)的災(zāi)備設(shè)計。

⑤ 彈性設(shè)計

• 故障隔離標(biāo)準(zhǔn)：防止故障傳播；

• 訪問量控制標(biāo)準(zhǔn)：對服務(wù)資源有效的SLA控制；

• 服務(wù)降級、限流與熔斷：保護(hù)系統(tǒng)影響進(jìn)一步惡化；

• 容錯設(shè)計：本著不信任外部資源（外部服務(wù)、DB、網(wǎng)絡(luò)設(shè)備、存儲、消息等）100%可用的原則。

2）容量設(shè)計

系統(tǒng)上線之前，最好能有一個比較嚴(yán)謹(jǐn)?shù)臏y試，比如全鏈路壓測，模擬用戶真實流量，對容量和性能等做測試。

3）運維方案設(shè)計

提前考慮系統(tǒng)上線后的運維訴求，做到變更可控、系統(tǒng)可觀、演練到位。

• ④ 安全設(shè)計

  系統(tǒng)安全是系統(tǒng)穩(wěn)定的基礎(chǔ)，主要有如下四個方面：

  • A：系統(tǒng)設(shè)計安全
  • B：部署和操作系統(tǒng)安全
  • C：數(shù)據(jù)安全
  • D：網(wǎng)絡(luò)安全

04. 分布式系統(tǒng)運維工具落地建設(shè)

1）一體化綜合管理工具

微服務(wù)化日甚的當(dāng)下，故障影響往往是復(fù)雜多樣的（單一節(jié)點故障可能導(dǎo)致全線業(yè)務(wù)出錯），往往需要多個技術(shù)團(tuán)隊的協(xié)同保障系統(tǒng)穩(wěn)定。需要統(tǒng)一的系統(tǒng)化穩(wěn)定性管理能力作為“連接器”實現(xiàn)多團(tuán)隊協(xié)同“透明化”作戰(zhàn)，并進(jìn)一步通過故障應(yīng)急過程及結(jié)果數(shù)據(jù)復(fù)盤，“數(shù)據(jù)化”風(fēng)險趨勢以確定建設(shè)重點，“標(biāo)準(zhǔn)化”故障管理流程以提升故障管理效率，定義業(yè)務(wù)或服務(wù)的SLO ( Service Level Objective，服務(wù)等級目標(biāo)）以“結(jié)構(gòu)化”組織穩(wěn)定性保障能力。

2）故障預(yù)防工具

① 可觀測能力

1. 如果直接選用一套大數(shù)據(jù)平臺來進(jìn)行全局可觀測能力的構(gòu)建，幾乎是行不通的。主要原因在于：

1. A：目前在銀行等企業(yè)里面，或多或少都已有Zabbix、APM等來自不同廠商的監(jiān)控工具，數(shù)據(jù)格式等均不一樣，無法關(guān)聯(lián)

1. B：市面上現(xiàn)有的大數(shù)據(jù)平臺，基本都是裸的或者比較笨重的大數(shù)據(jù)平臺，只對數(shù)據(jù)處理比較在行，但對不具備監(jiān)控管理能力，如果啟用大數(shù)據(jù)平臺做監(jiān)控數(shù)據(jù)的分析，需要先清理監(jiān)控數(shù)據(jù)

1. C：監(jiān)控消費的場景是不斷增長的，后續(xù)的對接集成開發(fā)和維護(hù)成本非常高

1. ③ 容量管理

   容量管理的核心有四個：

1. A：容量需求；

1. B：容量分析；

1. C：容量調(diào)度；

1. D：容量回收和清理。

④ 全鏈路壓測

通過全國各地CDN 節(jié)點模擬向生產(chǎn)系統(tǒng)施加壓力，模擬路演進(jìn)行整體容量和穩(wěn)定性驗證。全鏈路性能測試能力構(gòu)建主要由以下幾部分構(gòu)成：

1. A：資源管理能力

1. B：數(shù)據(jù)收集能力

1. C：流量發(fā)起能力

1. D：數(shù)據(jù)分析能力

1. E：結(jié)果管理能力

1. F：生產(chǎn)環(huán)境壓測改造

3）故障止損工具

① 應(yīng)急平臺

應(yīng)急平臺建設(shè)主要考慮以下方面：

1. A：應(yīng)用設(shè)計

1. B：應(yīng)急預(yù)案

1. C：定期演練

1. D：應(yīng)急度量

1. E：從手動應(yīng)急到自動應(yīng)急

05. 總結(jié)

分布式系統(tǒng)運維與傳統(tǒng)運維的本質(zhì)區(qū)別：

① 分布式系統(tǒng)運維：是面向應(yīng)用可用性穩(wěn)定性的，建設(shè)一體化能力。聚焦于穩(wěn)定性，但建設(shè)圍繞點是從穩(wěn)定性的背面“故障”出發(fā)。

② 傳統(tǒng)運維：主要面向基礎(chǔ)架構(gòu)；建設(shè)cmdb\監(jiān)控\自動化的豎井能力。

③ 本質(zhì)上都還是監(jiān)管控，但是需要有兩點：一是要融合并且面向應(yīng)用；二是要升華，如APM、混沌工程、應(yīng)用容量與成本等等。

④ 面向應(yīng)用的混沌工程、應(yīng)用容量、故障定位都需要監(jiān)管控這些能力的融合。

⑤ 所有這些的實現(xiàn)都需要強有力的自動化運維平臺的支撐。