指標(biāo)指用于描述一個(gè)物體或事物的某個(gè)性質(zhì)的指數(shù)、規(guī)格、標(biāo)準(zhǔn)，使其可以和其他的物體或者事物比較；從軟件的角度講度量即把所有東西都量化、數(shù)據(jù)化、可采集。指標(biāo)即表示對(duì)這些量化后的數(shù)據(jù)的目標(biāo)值。

觀測(cè)指標(biāo)體系是指對(duì)監(jiān)控指標(biāo)進(jìn)行體系化的規(guī)劃、實(shí)現(xiàn)全生命周期管理、建設(shè)管理規(guī)范等的系統(tǒng)方法論。

在了解指標(biāo)體系前，先了解下為什么需要進(jìn)行指標(biāo)體系的建設(shè)，結(jié)合過往的建設(shè)經(jīng)驗(yàn)，主要有以下六個(gè)方面的原因：

• 衡量業(yè)務(wù)健康情況：指標(biāo)體系可以反映業(yè)務(wù)客觀事實(shí)，看清業(yè)務(wù)健康現(xiàn)狀，有效衡量業(yè)務(wù)質(zhì)量，優(yōu)化應(yīng)用運(yùn)行。
• 完善指標(biāo)體系閉環(huán)管理：規(guī)范指標(biāo)定義、指標(biāo)評(píng)估、指標(biāo)上線、指標(biāo)運(yùn)營(yíng)的過程，指導(dǎo)圍繞指標(biāo)全生命周期的管理體系的建設(shè)。
• 衡量企業(yè)監(jiān)控落地效果：建立指標(biāo)的規(guī)范和管理方法，更好衡量企業(yè)監(jiān)控的能力完善程度和監(jiān)測(cè)有效性。
• 支撐故障問題的快速定位：圍繞指標(biāo)的全生命周期管理內(nèi)容，建設(shè)指標(biāo)數(shù)據(jù)體系，在故障出現(xiàn)時(shí)能夠快速定位問題所在。
• 明確指標(biāo)管理規(guī)范：清晰定義指標(biāo)管理流程、分級(jí)分層規(guī)范，命名規(guī)范等，實(shí)現(xiàn)指標(biāo)的全生命周期管理。
• 為運(yùn)維團(tuán)隊(duì)提供數(shù)據(jù)支持：企業(yè)內(nèi)統(tǒng)一指標(biāo)體系建設(shè)，提供指標(biāo)查詢、檢測(cè)、健康分析等消費(fèi)能力，實(shí)現(xiàn)指標(biāo)數(shù)據(jù)的價(jià)值挖掘。

經(jīng)過嘉為藍(lán)鯨多年的項(xiàng)目積累，對(duì)于指標(biāo)管理體系的總結(jié)如下圖。

基于圖中的內(nèi)容，接下來(lái)將詳細(xì)介紹如何進(jìn)行指標(biāo)體系建設(shè)和設(shè)計(jì)。

01. 指標(biāo)管理閉環(huán)

指標(biāo)全生命周期管理，包含指標(biāo)定義、指標(biāo)評(píng)估、指標(biāo)上線、指標(biāo)運(yùn)營(yíng)四個(gè)階段。

1）指標(biāo)定義

• 監(jiān)控對(duì)象：指標(biāo)關(guān)聯(lián)的對(duì)象，例如基礎(chǔ)設(shè)施（動(dòng)環(huán)）、硬件設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件、應(yīng)用服務(wù)、業(yè)務(wù)數(shù)據(jù)等；
• 指標(biāo)名稱：指標(biāo)規(guī)范命名，用于指標(biāo)標(biāo)識(shí)和理解傳播；
• 指標(biāo)分級(jí)：指標(biāo)的重要等級(jí)--核心（生死指標(biāo)）、關(guān)鍵（告警指標(biāo)）、常規(guī)（分析指標(biāo)）；
• 指標(biāo)維度：指標(biāo)關(guān)聯(lián)主體的標(biāo)識(shí)信息，例如主機(jī)IP、磁盤分區(qū)、網(wǎng)卡名稱等；
• 指標(biāo)描述：如指標(biāo)的含義、長(zhǎng)度限制、映射規(guī)則、指標(biāo)數(shù)據(jù)類型、單位、計(jì)算規(guī)則等。

2）指標(biāo)評(píng)估

• 指標(biāo)申請(qǐng)：申請(qǐng)?zhí)砑又笜?biāo)，主要考慮問題驅(qū)動(dòng)、行業(yè)實(shí)踐、業(yè)界標(biāo)準(zhǔn)，例如谷歌SRE定義的黃金指標(biāo)；
• 指標(biāo)開發(fā)：開發(fā)指標(biāo)的獲取邏輯——插件、協(xié)議、上報(bào)等多種方式；
• 指標(biāo)計(jì)算：基于現(xiàn)有指標(biāo)的二次計(jì)算獲得新的指標(biāo)，一般也稱衍生指標(biāo)；
• 指標(biāo)驗(yàn)證：獲取并驗(yàn)證指標(biāo)數(shù)據(jù)的正確性，確保指標(biāo)可靠可用；
• 指標(biāo)審核：審核指標(biāo)是否符合設(shè)計(jì)原則、風(fēng)險(xiǎn)性，例如是否對(duì)目標(biāo)有性能影響、是否暴露敏感數(shù)據(jù)等，最終審核確認(rèn)是否要上線。

3）指標(biāo)上線

• 指標(biāo)上報(bào)：符合格式規(guī)范的指標(biāo)數(shù)據(jù)主動(dòng)上報(bào)至監(jiān)控/觀測(cè)系統(tǒng)；
• 指標(biāo)采集：由監(jiān)控/觀測(cè)系統(tǒng)主動(dòng)下發(fā)插件采集指標(biāo)數(shù)據(jù)，或者通過協(xié)議/API遠(yuǎn)程獲取目標(biāo)的指標(biāo)數(shù)據(jù)；
• 閾值設(shè)置：設(shè)置指標(biāo)的檢測(cè)規(guī)則閾值，用于指標(biāo)的告警；
• 指標(biāo)檢索：查看指標(biāo)的數(shù)據(jù)，觀察指標(biāo)運(yùn)行趨勢(shì)，探索不同指標(biāo)的差異對(duì)比等；
• 指標(biāo)告警：驗(yàn)證指標(biāo)策略是否可以按照預(yù)期產(chǎn)生正確的告警。

4）指標(biāo)運(yùn)營(yíng)

• 告警檢驗(yàn)：檢驗(yàn)告警的有效性，告警能否反映一個(gè)真實(shí)問題？告警是否具備可處理性？
• 場(chǎng)景實(shí)踐：基于場(chǎng)景是否能夠產(chǎn)生預(yù)期的告警效果，例如不同的業(yè)務(wù)系統(tǒng)：計(jì)算密集型、IO密集型、網(wǎng)絡(luò)密集型；數(shù)據(jù)型、任務(wù)型等；
• 問題復(fù)盤：問題是否有告警？考慮監(jiān)控對(duì)象是否覆蓋？指標(biāo)是否覆蓋？指標(biāo)是否冗余？閾值是否正確？并記錄結(jié)論報(bào)告；
• 統(tǒng)計(jì)分析：指標(biāo)運(yùn)營(yíng)數(shù)據(jù)的統(tǒng)計(jì)分析——覆蓋率、關(guān)聯(lián)策略數(shù)、指標(biāo)告警頻率和告警數(shù)、指標(biāo)告警趨勢(shì)等，持續(xù)運(yùn)營(yíng)反饋優(yōu)化指標(biāo)體系；
• 標(biāo)準(zhǔn)沉淀：通過復(fù)盤和統(tǒng)計(jì)分析，不斷沉淀企業(yè)自有指標(biāo)最佳實(shí)踐，建設(shè)企業(yè)自有的指標(biāo)標(biāo)準(zhǔn)庫(kù)和規(guī)范。

02. 指標(biāo)管理規(guī)范

1）指標(biāo)設(shè)計(jì)原則

• 指標(biāo)設(shè)計(jì)要遵循可度量、可采集、可理解、可消費(fèi)的原則。比如用 timestamp 作為指標(biāo)，這個(gè)就不是一個(gè)很好的指標(biāo)。
• 指標(biāo)設(shè)計(jì)要有明確監(jiān)控目標(biāo)和消費(fèi)場(chǎng)景。在進(jìn)行指標(biāo)選取時(shí)，需要明確監(jiān)控目標(biāo)和消費(fèi)場(chǎng)景，避免指標(biāo)冗余、混亂、隔離、不一致以及謬誤等。
• 指標(biāo)設(shè)計(jì)具有可以賦予數(shù)學(xué)運(yùn)算的屬性。比如可排序（全序、偏序），可運(yùn)算（加減乘除與或非），或者可進(jìn)行數(shù)學(xué)統(tǒng)計(jì)運(yùn)算（Percentile, Deviation, Correlation, Gaussian / Poisson / Unique Distribution等）。
• 指標(biāo)最好是具有時(shí)序性的。比如服務(wù)是否啟動(dòng)了，這個(gè)布爾值指標(biāo)，就沒有太大意義了；但是換一個(gè)角度，服務(wù)的運(yùn)行狀態(tài)，這個(gè)指標(biāo)可以周期性采集探測(cè)，具備時(shí)序特征，可以反映不同時(shí)間的服務(wù)狀態(tài)。
• 指標(biāo)定義首選是代表服務(wù)可用性的關(guān)鍵指標(biāo)的。可以參考Google SRE定義的黃金指標(biāo)。比如說(shuō)請(qǐng)求量，耗時(shí)，緩存命中率，消息隊(duì)列Ingress & Egress的數(shù)量，消費(fèi)速率，積壓請(qǐng)求數(shù)量等，這些都可以成為自定義指標(biāo)的首選。

指標(biāo)本身一般分三級(jí)，按重要程度區(qū)分：核心指標(biāo)（生死指標(biāo)）、關(guān)鍵指標(biāo)（告警指標(biāo)）和常規(guī)指標(biāo)（分析指標(biāo)）。

• 核心指標(biāo)一般不會(huì)定太多，主要反映這個(gè)監(jiān)控對(duì)象是活著還是死了，1到2個(gè)即可。
• 關(guān)鍵指標(biāo)是看核心性能是否正常，參考谷歌定義的SRE四大黃金指標(biāo)。
• 常規(guī)指標(biāo)可以根據(jù)實(shí)際的業(yè)務(wù)場(chǎng)景去考慮，主要用于告警分析時(shí)的數(shù)據(jù)參考。

核心指標(biāo)一定要配置告警基線，關(guān)鍵指標(biāo)建議配置，而常規(guī)指標(biāo)可以按業(yè)務(wù)場(chǎng)景考慮是否配置。后續(xù)通過不同指標(biāo)的分級(jí)、權(quán)重，便可以很容易地建設(shè)起企業(yè)內(nèi)的應(yīng)用健康評(píng)估模型，衡量整個(gè)應(yīng)用的健康情況。

3）指標(biāo)命名規(guī)范

核心是可視可讀，定義統(tǒng)一的指標(biāo)命名規(guī)則，如包含編號(hào)的長(zhǎng)度限制、編碼的構(gòu)成、各組成部分的具體含義等。

命名示例：

(1) 組件名_指標(biāo)獲取方式_指標(biāo)分類_指標(biāo)描述：

nginx_exporter_cachezone_max_size

(2) 系統(tǒng)名_插件獲取方式_指標(biāo)描述：

blueking_script_host_num

4）指標(biāo)數(shù)據(jù)規(guī)范

指標(biāo)數(shù)據(jù)規(guī)范，支撐上層場(chǎng)景實(shí)現(xiàn)的基石，定義需要謹(jǐn)慎，下面提供兩種常見的指標(biāo)數(shù)據(jù)格式規(guī)范供參考。

① JSON格式示例

② Prometheus Metrics 標(biāo)準(zhǔn)格式

03. 指標(biāo)分層體系

從企業(yè)業(yè)務(wù)應(yīng)用的全面管理視角出發(fā)，通常將監(jiān)控體系劃分為六個(gè)核心層級(jí)，以全面覆蓋并優(yōu)化企業(yè)的IT架構(gòu)。這些層級(jí)依次為：基礎(chǔ)設(shè)施層、硬件設(shè)備層、操作系統(tǒng)層、組件服務(wù)層、應(yīng)用性能層、業(yè)務(wù)運(yùn)營(yíng)層。當(dāng)然，企業(yè)也可以根據(jù)自身的實(shí)際情況和特定需求，對(duì)上述監(jiān)控層級(jí)進(jìn)行靈活調(diào)整或定制。

1）基礎(chǔ)設(shè)施層

基礎(chǔ)設(shè)施層，指機(jī)房的基礎(chǔ)設(shè)施配備，用于保證機(jī)房的正常運(yùn)轉(zhuǎn)，包含動(dòng)力、環(huán)境、安防等設(shè)備。

動(dòng)力主要包含供電系統(tǒng)、發(fā)電機(jī)、UPS電源等電力供應(yīng)設(shè)備，核心關(guān)注電力的狀態(tài)、容量、電壓、電流、穩(wěn)定性、頻率等指標(biāo)。

環(huán)境主要包含溫濕度計(jì)、空調(diào)、通風(fēng)等環(huán)境監(jiān)測(cè)和調(diào)節(jié)設(shè)備，核心關(guān)注環(huán)境設(shè)備的運(yùn)行狀態(tài)、環(huán)境溫度、濕度等指標(biāo)

安防主要包含視頻攝像頭、門禁、煙霧探測(cè)器、消防設(shè)備等安全防護(hù)設(shè)備，核心關(guān)注設(shè)備的運(yùn)行狀態(tài)、視頻穩(wěn)定性、門禁狀態(tài)等指標(biāo)。

該層設(shè)備的監(jiān)控指標(biāo)主要通過IOT傳感器結(jié)合接口/SNMP協(xié)議以及HTTP接口的方式進(jìn)行監(jiān)控。

2）硬件設(shè)備層

硬件設(shè)備層，指服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、安全四類常見硬件設(shè)備對(duì)象，用于提供應(yīng)用運(yùn)行所需的硬件資源。

服務(wù)器設(shè)備主要包含X86服務(wù)器、小機(jī)、大機(jī)等計(jì)算資源設(shè)備，隨著分布式計(jì)算技術(shù)的普及，小機(jī)、大機(jī)這種性能超強(qiáng)的專用機(jī)器逐漸淘汰，X86服務(wù)器成為當(dāng)下主流；核心關(guān)注服務(wù)器的電源、CPU、內(nèi)存、磁盤、風(fēng)扇等配件的工作狀態(tài)和性能指標(biāo)。服務(wù)器主要通過IPMI、Redfish、SNMP幾種協(xié)議以及HTTP接口的方式進(jìn)行監(jiān)控。

存儲(chǔ)設(shè)備主要包含磁盤陣列、磁帶庫(kù)、存儲(chǔ)交換機(jī)等存儲(chǔ)資源設(shè)備，隨著虛擬存儲(chǔ)的技術(shù)的出現(xiàn)，專用而昂貴的存儲(chǔ)設(shè)備逐漸減少，取而代之的是廉價(jià)的服務(wù)器設(shè)備配合大量的硬盤通過虛擬化技術(shù)提供的存儲(chǔ)資源；核心關(guān)注存儲(chǔ)設(shè)備的容量、IOPS、運(yùn)行狀態(tài)、讀寫速率等指標(biāo)。存儲(chǔ)設(shè)備主要通過SNMP、SMI-S、SSH協(xié)議以及HTTP接口的方式進(jìn)行監(jiān)控。

網(wǎng)絡(luò)設(shè)備主要包含交換機(jī)、路由器、負(fù)載均衡等網(wǎng)絡(luò)資源設(shè)備；核心關(guān)注網(wǎng)絡(luò)設(shè)備的運(yùn)行狀態(tài)、端口狀態(tài)、端口流量、吞吐量、錯(cuò)誤包、丟包率等指標(biāo)。網(wǎng)絡(luò)設(shè)備主要通過SNMP協(xié)議進(jìn)行監(jiān)控。

安全設(shè)備主要包含防火墻、入侵檢測(cè)設(shè)備、防病毒設(shè)備、加密機(jī)等；核心關(guān)注安全設(shè)備的運(yùn)行狀態(tài)、接口狀態(tài)、速率、丟包數(shù)、網(wǎng)絡(luò)攻擊數(shù)等指標(biāo)。安全設(shè)備主要通過SNMP、SSH協(xié)議以及HTTP接口的方式進(jìn)行監(jiān)控。

3）操作系統(tǒng)層

操作系統(tǒng)層，除了包含傳統(tǒng)意義上的各類操作系統(tǒng)之外，虛擬化、容器也納入該層，虛擬化、容器本質(zhì)上也是由操作系統(tǒng)驅(qū)動(dòng)而提供的一種資源服務(wù)，如有需要，可單獨(dú)劃分虛擬化層。

操作系統(tǒng)主要包含Windows Server、Linux系的CentOS、RHEL、Suse、Ubuntu、AIX、HP-Unix等服務(wù)器操作系統(tǒng)；核心關(guān)注CPU使用率、內(nèi)存使用率、磁盤使用率、磁盤IO速率、網(wǎng)卡流量等指標(biāo)。操作系統(tǒng)主要通過Agent/插件的方式調(diào)用系統(tǒng)接口（例如WMI）或者內(nèi)置命令行/文件進(jìn)行監(jiān)控。

虛擬化主要包含VMware、OpenStack、KVM、Citrix等虛擬化平臺(tái)；核心關(guān)注平臺(tái)主機(jī)、集群、存儲(chǔ)的狀態(tài)和資源容量、資源數(shù)、配額等指標(biāo)。虛擬化主要通過HTTP接口的方式進(jìn)行監(jiān)控。

容器監(jiān)控主要指K8s容器管理平臺(tái)的監(jiān)控；核心關(guān)注Cluster、Node、Container、Service、Workload等資源的狀態(tài)、CPU負(fù)載、內(nèi)存使用、磁盤使用、網(wǎng)絡(luò)流量等指標(biāo)。容器平臺(tái)主要通過HTTP接口（ServiceMonitor）的方式進(jìn)行監(jiān)控。

4）組件服務(wù)層

組件服務(wù)層，一般指數(shù)據(jù)庫(kù)、中間件及其運(yùn)行進(jìn)程等軟件資源對(duì)象，部分監(jiān)控系統(tǒng)經(jīng)常將進(jìn)程歸屬于操作系統(tǒng)監(jiān)控，或者獨(dú)立進(jìn)行監(jiān)控，反映的都是進(jìn)程本身的狀態(tài)，但是進(jìn)程本質(zhì)是各種數(shù)據(jù)庫(kù)、中間件軟件資源服務(wù)化的表現(xiàn)形式，應(yīng)當(dāng)隸屬于資源實(shí)例監(jiān)控的一部分。

數(shù)據(jù)庫(kù)主要包含企業(yè)常用的各種關(guān)系型數(shù)據(jù)庫(kù)MySQL、Oracle、MSSQL等，以及非關(guān)系型數(shù)據(jù)庫(kù)MongoDB、Redis、InfluxDB等；核心關(guān)注的是數(shù)據(jù)庫(kù)的連接數(shù)、讀寫速率、鎖、索引命中率、連接數(shù)等指標(biāo)。數(shù)據(jù)庫(kù)主要通過數(shù)據(jù)庫(kù)的Client/命令行或者通用的JDBC/ODBC協(xié)議執(zhí)行SQL的方式或者自帶的監(jiān)控接口進(jìn)行監(jiān)控。

中間件主要包含Web中間件、消息中間件兩種，例如WebLogic、Was、Tomcat、kafka、RabbitMQ等，其他的還有配置中間件、分布式事務(wù)、任務(wù)調(diào)度中間件等；核心關(guān)注的是中間件的吞吐量、連接數(shù)、JVM性能等指標(biāo)。中間件主要通過中間件的自帶的命令行工具或者通用的JMX協(xié)議或者自帶的接口進(jìn)行監(jiān)控。

一般只有數(shù)據(jù)庫(kù)、中間件或者應(yīng)用本身的進(jìn)程才會(huì)進(jìn)行監(jiān)控，進(jìn)程監(jiān)控核心關(guān)注進(jìn)程狀態(tài)、端口狀態(tài)、進(jìn)程的性能使用率等指標(biāo)。進(jìn)程主要通過Agent/插件的方式調(diào)用系統(tǒng)接口（例如WMI）或者命令行進(jìn)行監(jiān)控。

5）應(yīng)用性能層

應(yīng)用性能層，包含應(yīng)用系統(tǒng)服務(wù)端和客戶端兩個(gè)方面，其中服務(wù)端主要指調(diào)用鏈，客戶端主要包含移動(dòng)端APP、PC端Web頁(yè)面。

對(duì)于服務(wù)端的調(diào)用鏈，核心關(guān)注可用率、錯(cuò)誤率、響應(yīng)時(shí)間、吞吐率等關(guān)鍵性能指標(biāo)。主要通過Traces調(diào)用鏈的方式進(jìn)行監(jiān)控。

對(duì)于客戶的移動(dòng)端APP和PC端的Web頁(yè)面，核心關(guān)注瀏覽量、請(qǐng)求數(shù)、首屏?xí)r間、渲染時(shí)間、可用率、響應(yīng)時(shí)間等關(guān)鍵性能指標(biāo)。主要通過安卓/蘋果的SDK以及JS的SDK進(jìn)行監(jiān)控。

另外，對(duì)于應(yīng)用和服務(wù)的基礎(chǔ)探測(cè)，也可以采用協(xié)議撥測(cè)的方式來(lái)實(shí)現(xiàn)，此時(shí)主要關(guān)注網(wǎng)站或接口的撥測(cè)可用率、撥測(cè)響應(yīng)時(shí)間。主要通過HTTP/TCP/UDP協(xié)議通過撥測(cè)進(jìn)行監(jiān)控。

6）業(yè)務(wù)運(yùn)營(yíng)層

業(yè)務(wù)運(yùn)營(yíng)層，主要指業(yè)務(wù)系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)的監(jiān)控，需要根據(jù)業(yè)務(wù)系統(tǒng)的特點(diǎn)來(lái)進(jìn)行梳理，常見的業(yè)務(wù)系統(tǒng)主要關(guān)注交易量、交易耗時(shí)、庫(kù)存量、用戶數(shù)、活躍用戶數(shù)、在線用戶數(shù)等業(yè)務(wù)核心指標(biāo)。主要通過HTTP接口、數(shù)據(jù)庫(kù)SQL、腳本、日志提取等方式進(jìn)行監(jiān)控。

以上便是指標(biāo)管理體系的全部?jī)?nèi)容，但是指標(biāo)的管理不僅僅是指標(biāo)體系內(nèi)容建立，還包括指標(biāo)的管理規(guī)范和治理。不僅僅需要觀測(cè)工具的承載，還需要相應(yīng)的配套工具，如CMDB的建設(shè)，提供數(shù)據(jù)治理，對(duì)象管理等能力；ITSM流程系統(tǒng)，保障指標(biāo)管理過程中的流程規(guī)范，保障順利完成整個(gè)落地過程。