隨著數(shù)字化轉(zhuǎn)型的深入，基于中臺和PaaS架構(gòu)的一體化運維建設(shè)也在各行各業(yè)快速展開，但是如何將運維平臺本身的能力與企業(yè)已有的工具能力進行中臺化整合、工具場景如何聯(lián)動，是個復(fù)雜而龐大的工程。

01. 背景

華夏銀行圍繞“移動化”、“開放化”、“智能化“、”平臺化”制定了“智慧金融、數(shù)字華夏”的規(guī)劃愿景，但如何支撐華夏銀行整體的數(shù)字化轉(zhuǎn)型，更快地響應(yīng)前端的業(yè)務(wù)訴求，華夏銀行運維團隊面臨著大量新技術(shù)、新應(yīng)用、新架構(gòu)的挑戰(zhàn)：

為更好的支撐數(shù)字化轉(zhuǎn)型，華夏銀行明確運維平臺化建設(shè)的目標：圍繞自身業(yè)務(wù)特點，抽象運維所需底層的能力，通過構(gòu)建通用能力的平臺，橫向覆蓋大家都認知的監(jiān)、管、控各個領(lǐng)域，縱向支撐組織架構(gòu)的應(yīng)用管理、系統(tǒng)管理和網(wǎng)絡(luò)管理，實現(xiàn)：

• 最大化復(fù)用運維的在權(quán)限、配置、自動化、作業(yè)等通用能力構(gòu)建場景；而不是重復(fù)建設(shè)工具來支撐場景；
• 平臺具備整合場景的能力，可以通過運維開發(fā)等手段，將底層能力在上層場景需要時調(diào)用；
• 橫向在監(jiān)管控、縱向上在網(wǎng)絡(luò)、系統(tǒng)、應(yīng)用均可以支撐和響應(yīng)快速變化的業(yè)務(wù)需求；提供更好更快的運維支持能力；

建設(shè)目標明確后，我們基于藍鯨打造了屬于華夏銀行的平臺——iDo平臺。“Do”有兩層含義：一是響應(yīng)平臺的理念，即“做”，而不僅僅是“說”，提倡動手實干；二是低成本的運維開發(fā)工具“DevOps”，摘取字母“D”和“o”。

基于藍鯨打造的iDo平臺，底層是管控平臺進行運維對象的統(tǒng)一納管，使工具平臺與運維對象之間能夠建立有效連接，中間層為作業(yè)、配置、數(shù)據(jù)平臺為代表的運維通用能力，除藍鯨自身的能力之外，也可以進行能力的拓展和優(yōu)化將華夏原有的自動化、運維管理等能力融入進來。以API為脈絡(luò)和紐帶，連接起平臺本身和周邊工具的能力和數(shù)據(jù)，達到場景貫通的目的。

同時，藍鯨通用的開發(fā)框架可以支撐行內(nèi)依據(jù)自身需求開發(fā)應(yīng)用工具，應(yīng)用工具的不斷建設(shè)也會反哺到能力中心，形成互相螺旋式提升狀態(tài)，能力會不斷地完善，場景會越來越豐富。

02. 基于藍鯨的運維平臺化建設(shè)

1）平臺層統(tǒng)一對接

① 認證掃碼

在引進藍鯨之前銀行內(nèi)部已經(jīng)建設(shè)大量的運維相關(guān)應(yīng)用和系統(tǒng)，引進藍鯨平臺之后，首先要做的就是進行人員組織架構(gòu)的對接、同步，并通過認證掃碼登錄，通過與認證系統(tǒng)（ITIL、企業(yè)微信等）做統(tǒng)一認證、接入，目前可以實現(xiàn)通過掃碼的方式快速登陸平臺，同時行內(nèi)的統(tǒng)一的組織架構(gòu)信息，也給后續(xù)的權(quán)限管理提供了很多便利；

② 接入

目前生產(chǎn)運維接入了300+的業(yè)務(wù)系統(tǒng)，納管了12000+主機。通過能力中心的建設(shè)，共有400+API，同時基于平臺通過場景建設(shè)了100+SaaS工具，并且這些規(guī)模數(shù)量還在不斷增加；

③ 消息

iDo通過和短信網(wǎng)關(guān)、企業(yè)微信等通知方式的對接，將日常運維中的審批信息、告警信息、待辦信息等等都實現(xiàn)了移動端的消息覆蓋，讓運維人員即使人不在值班中心也不會漏下任何的故障和工作信息；

④ 企業(yè)級管理

華夏在全國有40多家一級分行，幾千個營業(yè)網(wǎng)點，目前iDo以完成了從上到下的統(tǒng)一管理，這里面平臺的以業(yè)務(wù)劃分，統(tǒng)一管理又相互獨立的模式發(fā)揮了很大的作用，因為各分行有自己的運維人員，統(tǒng)一管理便于總行的整體的運營明確下一步建設(shè)優(yōu)化方向，獨立的應(yīng)用又可以讓分行運維人員依據(jù)實際的業(yè)務(wù)訴求進行個性化的調(diào)整；

2）平臺化配置管理

配置管理在業(yè)內(nèi)是建設(shè)的難點。華夏銀行也有配置管理系統(tǒng)。在平臺化建設(shè)后：

首先，同步數(shù)據(jù)、模型。行內(nèi)重要的模型主要有業(yè)務(wù)系統(tǒng)、人員、IP等；

第二，進行流程上的控制。對配置管理做了流程上的對接，包括設(shè)備的上下線，人員的調(diào)整等，保證配置管理的準確性；

第三，改造原有CMBD API在用接口，統(tǒng)一封裝到API網(wǎng)關(guān)中，與藍鯨的CMDB功能一起做了統(tǒng)一的服務(wù)；

第四，數(shù)據(jù)消費。數(shù)據(jù)消費是目前CMDB建設(shè)的重點，通過強消費、場景化的建設(shè)，對CMDB的數(shù)據(jù)進行消費。這也是一個循環(huán)的模式，即有些不準確的CMDB數(shù)據(jù)，會通過消費場景來反映CMDB的準確性，確保CMDB數(shù)據(jù)的準確；

第五，自動采集項。自動采集也是CMDB建設(shè)的重點，由于很多數(shù)據(jù)單靠靜態(tài)的管理，且沒有在消費的場景里，容易導(dǎo)致數(shù)據(jù)采集不準確。通過自動采集插件反哺到CMDB中，從而確保數(shù)據(jù)采集的實時數(shù)據(jù)，實時反映CMDB的配置信息情況。同時通過可視化的展示不斷完善數(shù)據(jù)的準確性以及數(shù)據(jù)采集插件，讓插件繼續(xù)豐富。

3）平臺化監(jiān)控管理

利用平臺能力補足監(jiān)控的不足，同時基于平臺統(tǒng)一的開放能力，實現(xiàn)統(tǒng)一監(jiān)控的匯聚等等。

華夏銀行最早使用的監(jiān)控產(chǎn)品是IBM、ITM。隨著國產(chǎn)化趨勢，“去IOE”行動，行內(nèi)業(yè)務(wù)系統(tǒng)需同步進行信創(chuàng)化改造，使用國產(chǎn)化信創(chuàng)設(shè)備，因此銀行使用藍鯨監(jiān)控，去逐步替代ITM的基礎(chǔ)監(jiān)控，通過藍鯨對信創(chuàng)的基礎(chǔ)監(jiān)控實現(xiàn)統(tǒng)一納管。

除IBM、ITM基礎(chǔ)監(jiān)控外，還有：

• 藍鯨監(jiān)控、自定義監(jiān)控、撥測、日志、關(guān)鍵字等監(jiān)控，目前都在大規(guī)模使用；
• 云監(jiān)控，行內(nèi)自研的應(yīng)用監(jiān)控，是根據(jù)行內(nèi)的應(yīng)用監(jiān)控規(guī)范、基于藍鯨能力開發(fā)的應(yīng)用監(jiān)控；
• 第三方監(jiān)控，比如APM監(jiān)控、端到端的監(jiān)控等。

行內(nèi)監(jiān)控極其分散，通過藍鯨統(tǒng)一的開發(fā)框架，開發(fā)了統(tǒng)一的告警中心。接入藍鯨監(jiān)控、存量的ITM監(jiān)控、云監(jiān)控及交易監(jiān)控，進行統(tǒng)一的告警匯聚、分級、收斂、處置、通知等，即在平臺上集合了所有監(jiān)控，并具有可視化大屏展示。

統(tǒng)一監(jiān)控告警中心在華夏銀行服務(wù)臺以及各個項目組是一個非常受歡迎的產(chǎn)品。有了統(tǒng)一的告警的功能后，大家能夠及時地查看系統(tǒng)的運行情況；同時基于統(tǒng)一告警進行了根因定位、故障畫像等相關(guān)方面的研究，也已經(jīng)開始投入應(yīng)用了。

4）雙Agent模式解決國產(chǎn)化自動化難題

在自動化（控）方面，華夏銀行原來的自動化產(chǎn)品是用國外的BMC，在使用過程中會遇到國產(chǎn)化兼容的難題。通過藍鯨Agent、BMC Agent這種雙Agent模式，解決了國產(chǎn)化自動化的難題。

在雙Agent模式下，通過藍鯨的自動化能力去納管國產(chǎn)化設(shè)備，并且兩種Agent同時運行。雙Agent模式支持在業(yè)務(wù)無任何感知的情況下進行國產(chǎn)化的替換，最大化兼容了穩(wěn)定性和自主可控的要求。

隨著國產(chǎn)化新設(shè)備的上線，銀行將圍繞業(yè)務(wù)生命周期，逐步切換到藍鯨Agent，同時保持用戶的使用習(xí)慣。目前已有30+套國產(chǎn)化架構(gòu)的業(yè)務(wù)系統(tǒng)通過藍鯨進行自動化投產(chǎn)和變更，未來將通過增量業(yè)務(wù)逐漸進行替換，實現(xiàn)國產(chǎn)化的適配。

5）容器自動化管理

行內(nèi)華為云X86、華為云ARM、道客云均是通過容器實現(xiàn)自動化管理。每個容器云廠商有各自的管理模式，難以統(tǒng)一管理。通過容器的自動化管理，可對不同廠商、不同架構(gòu)的容器云進行統(tǒng)一的容器管理，包括應(yīng)用定義、多集群的納管集群的運維、容器應(yīng)用的運維等等。

典型的管理場景舉例介紹：

① 平臺化資源交付

平臺能力層有強大的開發(fā)能力，能串聯(lián)自動化、流程、CMDB三方面能力實現(xiàn)資源交付的申請。整個可視化的流程編排可以增加API、審批流程的管理，全部實現(xiàn)線上化審批。舉個簡單的例子，堡壘機場景會增加主機、權(quán)限以及密碼托管等，只靠提單來完成資源交付會很繁瑣，但通過平臺化的資源交付，審計堡壘機時依托平臺的開放能力，把API和審批流程串起來，在用戶申請后，堡壘機的管理員只需通過API加流程完成，替代手工操作，資源交付的效率大大地提升了。

另外，通過可視化方式呈現(xiàn)資源交付的成功率、交易量、交易類別等多維度的數(shù)據(jù)，直觀呈現(xiàn)服務(wù)運營的價值，即平臺資源化。平臺資源化會有各種服務(wù)，現(xiàn)能通過平臺化的流程管理，實現(xiàn)可視化編排。

② 平臺能力中心可持續(xù)交付的服務(wù)

藍鯨加上企業(yè)自有系統(tǒng)服務(wù)的封裝，使得平臺層的內(nèi)容場景豐富，API流程控制、統(tǒng)計等能力增強。目前平臺能力中心主要的業(yè)務(wù)功能是能力的上傳、申請以及使用等。

首先，能力自定義、自服務(wù)上傳。如希望把原來第三方系統(tǒng)放到統(tǒng)一能力中心，那可通過能力中心的SaaS應(yīng)用，實現(xiàn)注冊、申請，最終上線到統(tǒng)一的能力中心。

第二，使用人員的申請。目前的使用人員不局限于運維，也有部分的應(yīng)用運維人員、系統(tǒng)運維人員以及開發(fā)人員，他們通過平臺能力中心，申請各自所需的能力，然后再去組裝SaaS應(yīng)用。

如下是接口授權(quán)調(diào)用的邏輯。在申請時SaaS相關(guān)的信息、使用申請、使用說明、申請時限等都會反映到流程中，通過審批后會再反映到用戶的實際調(diào)動中。

前端的使用統(tǒng)計。主要是統(tǒng)計成功率、使用次數(shù)、SaaS的調(diào)用使用量以及接口的使用量等。

6）一個iDo平臺可以帶來“百花齊放”, 平臺有100+SaaS工具

網(wǎng)絡(luò)層面是相對獨立、專業(yè)的運維領(lǐng)域，分行的網(wǎng)絡(luò)告警是通過平臺提供服務(wù)。目前行內(nèi)網(wǎng)絡(luò)團隊通過底層能力，將告警統(tǒng)一接入到平臺上，基于平臺開發(fā)了SaaS服務(wù)。

在系統(tǒng)層面，藍鯨本身是應(yīng)用視角的平臺，而系統(tǒng)層面會注重整體視角。行內(nèi)通過賦予用戶權(quán)限，例如提供50套系統(tǒng)的權(quán)限，通過API對這50套系統(tǒng)獲取數(shù)據(jù)，再在這上面做一層以系統(tǒng)為視角的SaaS應(yīng)用。現(xiàn)銀行的一些系統(tǒng)類、數(shù)據(jù)庫統(tǒng)一管理的視角的SaaS，便是基于這個方式實現(xiàn)的。如數(shù)字魔方，TongEasy分析、GTP智能運維，也都是系統(tǒng)層面統(tǒng)一運維的SaaS應(yīng)用。

在應(yīng)用層面。交易的成功率、交易量、響應(yīng)時間、數(shù)據(jù)庫連接都是基于自研的云監(jiān)控去完成。核心/借記卡監(jiān)控也是屬于應(yīng)用監(jiān)控的范疇。

因此，我們是基于這一個平臺提供的統(tǒng)一能力，不斷地豐富各個層面的場景，從而實現(xiàn)華夏銀行的運維平臺化的建設(shè)。

03. 經(jīng)驗總結(jié)和未來的展望

引入藍鯨平臺后，從搭平臺框架、融合協(xié)同、場景拓展演進，最終實現(xiàn)iDo平臺智能化。

通過本次平臺化建設(shè)，助力運維價值升級：

① 打破傳統(tǒng)運維的思維

通過平臺工具建設(shè)，解放運維繁瑣的工作，實現(xiàn)運維管理橫向擴展，借助平臺能力實現(xiàn)原來難以實現(xiàn)的場景，提升自身的價值；

② 需求開發(fā)周期迅速縮短

通過平臺快速試飛的應(yīng)用開發(fā)場景，新的需求開發(fā)周期會迅速縮短；

③ 迅速提升運維人員能力

運維不再是一個簡單重復(fù)的工作，通過對平臺能力的抽象、平臺開發(fā)框架的工具文化的賦能，運維開發(fā)對運維人員是一條很好的轉(zhuǎn)型之路；

④ 為業(yè)務(wù)發(fā)展提供更多的決策依據(jù)

依靠騰訊藍鯨在運維行業(yè)的引領(lǐng)，我行的金融運維產(chǎn)品可以對外輸出，體現(xiàn)更高的價值。

運維得天獨厚的一個優(yōu)勢，是我們能夠獲取實時的數(shù)據(jù)，更貼近地去體現(xiàn)業(yè)務(wù)的價值，并通過平臺化能力及快速開發(fā)模式來輔助運營，為業(yè)務(wù)發(fā)展提供更多的決策依據(jù)。