01.前言

隨著云計算、分布式、微服務等前沿技術的廣泛應用，現(xiàn)代IT系統(tǒng)架構已經(jīng)從傳統(tǒng)的單體結構演進到分布式和云原生架構。這種轉(zhuǎn)變雖然帶來了靈活性和擴展性的顯著提升，但同時也極大地增加了企業(yè)IT運維的復雜性，尤其是在構建有效的可觀測性系統(tǒng)方面面臨著前所未有的挑戰(zhàn)。

• 全棧數(shù)據(jù)接入壁壘。在異構組件（例如Kubernetes集群、國產(chǎn)化數(shù)據(jù)庫）間存在巨大適配差異，這不僅限制了數(shù)據(jù)的融合關聯(lián)，也使得人工開發(fā)采集插件成為一項耗時且低效的工作。面對這一問題，大模型通過其卓越的代碼生成能力，能夠自動編寫數(shù)據(jù)接入插件，完成數(shù)據(jù)格式清洗，極大提升了數(shù)據(jù)接入效率。
• 跨域根因分析低效。據(jù)統(tǒng)計，絕大部分的故障涉及數(shù)據(jù)庫、網(wǎng)絡、應用代碼等多個技術棧層面，人工排查通常需要切換使用5至8種不同的運維工具才能找到原因。而大模型憑借其對多模態(tài)數(shù)據(jù)的理解能力、知識推理能力，則可以通過綜合分析來自不同領域的信息，快速鎖定問題根源。
• 故障復盤難以落地，故障反復出現(xiàn)。對于那些在重啟后無法復現(xiàn)的故障，由于缺乏有效的根因追溯手段，容易造成隱患重復出現(xiàn)。大模型能夠通過對歷史數(shù)據(jù)的學習和理解，為這類難以捉摸的問題提供預防性建議，減少未來類似事件的發(fā)生概率。

綜上所述，大模型技術以其獨特的優(yōu)勢，在應對現(xiàn)代IT系統(tǒng)可觀測性挑戰(zhàn)中扮演著至關重要的角色。它不僅能幫助克服現(xiàn)有技術障礙，還能推動企業(yè)向更加智能化的運維模式轉(zhuǎn)型。大模型憑借多模態(tài)理解、代碼生成、知識推理能力，為上述問題提供了突破性解決方案。

02.大模型在可觀測領域的應用

借助嘉為藍鯨底座LLMOps開發(fā)平臺，企業(yè)能夠快速對接異構大模型，并利用其提供的智能體開發(fā)框架，結合私域知識和觀測流數(shù)據(jù)，實現(xiàn)智能化運維場景的快速擴展。

通過智能編排與FunctionCall集成調(diào)度一體化運維平臺的原子模塊（如調(diào)度中心、作業(yè)中心、資源中心、監(jiān)控中心、流程中心、操作中心等），顯著提升了可觀測系統(tǒng)的智能化水平，優(yōu)化了從故障檢測到復盤的完整運維生命周期。企業(yè)不僅能夠?qū)崿F(xiàn)對復雜IT環(huán)境的高效管理，還能通過全流程的智能化支持，顯著提升系統(tǒng)穩(wěn)定性、縮短故障解決時間，并促進運維工作的持續(xù)優(yōu)化與智能化升級。

1）事前：預防與準備

• 監(jiān)控檢測：實時監(jiān)控系統(tǒng)狀態(tài)和性能指標，快速分析異常日志和告警，發(fā)現(xiàn)潛在問題。
• 告警通知：在異常發(fā)生時，輔助值班，及時發(fā)送告警信息給相關人員或系統(tǒng)，確?？焖夙憫?。
• 告警預案：輔助預先制定詳細的告警處理方案，涵蓋不同場景下的應對措施，以便快速處置。

2）事中：分析與處置

• 告警根因：深入分析告警的根本原因，快速定位問題源頭。
• 告警關聯(lián)：整合相關聯(lián)的告警信息，幫助全面理解問題背景，便于更準確地判斷狀況。
• 日志分析：對系統(tǒng)日志進行深度解析，識別可能指向故障原因的關鍵線索。
• 故障影響：評估故障對業(yè)務和服務的具體影響范圍，確定優(yōu)先級。
• 故障定界：明確故障的具體邊界，區(qū)分受影響區(qū)域與正常運行部分。
• 故障調(diào)度：根據(jù)故障性質(zhì)和需求，靈活調(diào)度資源，為故障處理提供必要支持。
• 故障處置：實施具體的故障處理措施，盡快恢復正常服務。
• 預案推薦：根據(jù)當前情況推薦最適合的預設處理方案，加速決策過程。

3）事后：總結與優(yōu)化

• 故障復盤：回顧整個故障處理過程，識別成功之處和需要改進的地方。
• 經(jīng)驗總結：匯總每次故障處理的經(jīng)驗教訓，形成有價值的參考資料。
• 知識沉淀：將積累的知識自動轉(zhuǎn)化為企業(yè)的內(nèi)部存儲，用于提升團隊整體技術水平。
• 策略優(yōu)化：基于學到的經(jīng)驗，不斷優(yōu)化監(jiān)控策略，異常檢測更加準確。
• 預案優(yōu)化：更新和完善現(xiàn)有的應急預案，使其更加貼合實際情況。
• 告警治理：持續(xù)改進告警機制，減少誤報和漏報，提高告警系統(tǒng)的可靠性和有效性。

4）大模型智能化運維的關鍵支撐

• 私域知識庫建設：構建一個包含企業(yè)特定信息和技術細節(jié)的知識庫，作為大模型訓練和推理的基礎，增強智能體的精準度和適用性。
• 觀測流數(shù)據(jù)整合：實時獲取并分析來自不同監(jiān)控源的數(shù)據(jù)流，確保對系統(tǒng)狀態(tài)的全面了解和即時響應。
• LLMOps技術支持：通過LLMOps技術，在事前、事中、事后各階段實現(xiàn)高效故障管理，推動運維工作的智能化轉(zhuǎn)型。

03.場景說明

小鯨觀測助手，是基于嘉為藍鯨LLMOps平臺，結合嘉為藍鯨全棧智能觀測中心，自主研發(fā)的一款基于大模型的觀測平臺輔助分析工具。

1）腳本插件自動編寫

大模型可解析自然語言指令自動生成適配Prometheus格式的監(jiān)控腳本、Exporter等插件，嘉為藍鯨全棧智能觀測中心無縫兼容Prometheus 插件生態(tài)，通過小鯨觀測助手，可在服務器性能、數(shù)據(jù)庫&中間件指標、API調(diào)用等多種場景自動編寫插件快速實現(xiàn)指標獲取。

2）日志正則提取規(guī)則編寫

大模型通過學習既有正則編寫規(guī)則，自動生成精準的正則表達式模板。無論是多變的日志格式，還是多層嵌套結構的數(shù)據(jù)字段，小鯨觀測助手都能快速識別規(guī)律，實現(xiàn)“輸入日志樣本→輸出解析規(guī)則”的自動化閉環(huán)。

3）系統(tǒng)數(shù)據(jù)自動查詢

傳統(tǒng)運維工程師面對系統(tǒng)異常時，還在反復切換監(jiān)控平臺、日志平臺和SQL查詢工具進行查詢和分析，而大模型技術正在重新定義數(shù)據(jù)交互方式，基于Function Call無縫連接系統(tǒng)數(shù)據(jù)，通過小鯨觀測助手，實現(xiàn)自然語言聊天式快速獲取系統(tǒng)數(shù)據(jù)，輔助異常分析。

4）日志劃詞智能解析

基于大模型技術的日志劃詞智能解析，通過小鯨觀測助手的語義理解與動態(tài)優(yōu)化能力，實現(xiàn)日志數(shù)據(jù)的秒級解釋說明與深度分析，助力企業(yè)高效挖掘數(shù)據(jù)價值。

5）告警智能知識推薦

基于內(nèi)置運維知識庫，可以根據(jù)告警事件內(nèi)容結合知識庫找出相關聯(lián)的知識，并給與解決方案的推薦。同時可批量導入知識庫文件，基于用戶歷史經(jīng)驗提供更豐富的解決方案；告警產(chǎn)生后智能匹配知識庫里的解決方案。

6）告警劃詞智能解析

運維人員通常通過經(jīng)驗或查找資料來處理告警事件，效率低下且耗時?？梢酝ㄟ^小鯨觀測助手將問題直接拋給大模型，基于知識庫和經(jīng)驗，直接提供優(yōu)化解決方案。

7）告警根因智能分析

大模型技術通過融合多維算法引擎與全域關聯(lián)數(shù)據(jù)，重構告警根因定位范式。基于Embed向量化、logreduce日志聚類、知識圖譜拓撲推理等技術，大模型可快速解析海量告警間的潛在關聯(lián)，結合時序預測與異常檢測識別異常波動模式。同時，聯(lián)動歷史告警庫、變更記錄、處置經(jīng)驗等數(shù)據(jù)，構建跨系統(tǒng)因果分析。這種“算法穿透+數(shù)據(jù)穿透”雙引擎，使系統(tǒng)能快速鎖定根因，并推薦處置方案，實現(xiàn)根因分析從經(jīng)驗猜測邁向智能推演。

實現(xiàn)效果如下圖：

8）告警處置智能引導

結合預測性對話流與大模型，小鯨觀測助手能夠?qū)崿F(xiàn)對話智能引導，引導用戶完成智能提單引導、智能故障處置引導等場景：根據(jù)故障排查的場景，預設引導性場景，智能機器人識別關鍵字以后進入引導場景，確保問題能夠迅速被識別和解決。

實現(xiàn)效果如下圖：

04.前景展望

通過上述可觀測性與大模型結合的應用場景，已經(jīng)充分展現(xiàn)了大模型在運維領域的巨大潛力。展望未來，大模型的作用將不再局限于作為觀測的輔助工具，而是逐步邁向更高層次的智能化階段。

在不久的將來，大模型有望實現(xiàn)自主分析和定位問題的能力，并能夠直接參與甚至主導問題的解決過程。通過對觀測數(shù)據(jù)的深度學習和實時分析，大模型還能夠預測未來可能發(fā)生的潛在風險，提前發(fā)現(xiàn)隱患并采取預防措施，從而將問題消滅在萌芽狀態(tài)。

這種進化標志著可觀測性從傳統(tǒng)的“發(fā)現(xiàn)問題”向“快速處理問題”再到“主動預防問題”的全面蛻變。大模型的引入不僅提升了系統(tǒng)運維的效率和可靠性，還將推動整個可觀測領域進入一個全新的智能化時代——真正實現(xiàn)從事后響應到事前預防的質(zhì)變，為企業(yè)構建更加穩(wěn)定、高效、智能的IT環(huán)境奠定堅實基礎。