日志中心是面向企業(yè)IT研發(fā)和運維，滿足分布式架構下海量日志采集及存儲、檢索及分析的一款高性能日志產(chǎn)品，基于業(yè)界主流的全文檢索引擎，通過藍鯨專屬 Agent 提供多種場景化日志采集，提供快速檢索分析、輔助故障定位功能。

日志中心——雙價值鏈條驅(qū)動的企業(yè)級日志解決方案：

• 價值鏈1：根據(jù)日志數(shù)據(jù)的分散、海量、異構的特點，打造日志數(shù)據(jù)流轉鏈，應對集中管理的場景。
• 價值鏈2：基于可觀測三支柱數(shù)據(jù)理論，構建可觀測全景數(shù)據(jù)鏈條，應對日益復雜的觀測場景。

01. 日志采集

日志中心引入日志主題的概念，將多個采集項封裝成一個日志主題，屏蔽采集層的物理限制，以業(yè)務維度重新組織日志數(shù)據(jù)管理維度，從而實現(xiàn)跨應用的聯(lián)合查詢。

支持通過Agent采集源日志和接入第三方ES來消費日志數(shù)據(jù)。

1）基于Agent采集日志

日志中心支持通過Agent采集來自多種來源的日志文件，包括操作系統(tǒng)、應用系統(tǒng)、容器、網(wǎng)絡設備、安全設備、中間件以及數(shù)據(jù)庫生成的日志。此外，系統(tǒng)還支持從第三方Kafka采集日志信息，確保用戶可以全面獲取所需的日志數(shù)據(jù)。

針對上述提到多來源的日志文件，具體而言，日志中心提供以下七種日志采集方式，以滿足不同場景和需求：

• 文本日志：直接采集存儲在文件系統(tǒng)中的文本格式日志，適用于大多數(shù)應用和服務生成的日志文件。
• Syslog協(xié)議：通過標準的Syslog協(xié)議采集網(wǎng)絡設備和安全設備的日志，確保日志傳輸?shù)母咝院涂煽啃浴?/span>
• Windows事件日志：支持從Windows系統(tǒng)中采集事件日志，幫助用戶監(jiān)控和分析Windows環(huán)境下的系統(tǒng)和應用活動。
• Kubernetes文件日志：直接采集Kubernetes集群中容器生成的日志文件，便于用戶對容器化應用進行監(jiān)控和故障排查。
• Kubernetes標準輸出：通過采集Kubernetes容器的標準輸出日志，用戶可以輕松獲取應用運行時的實時信息。
• Kubernetes Node日志：采集Kubernetes節(jié)點上的日志信息，幫助用戶全面了解集群的運行狀態(tài)和性能。
• Kafka采集：支持從第三方Kafka集群中采集日志信息，使得用戶能夠靈活處理和分析通過Kafka流轉的日志數(shù)據(jù)。

選擇采集類型后，用戶需要進行詳細的日志采集配置，包括設置采集目標、指定文本路徑以及定義過濾規(guī)則等。為提升采集配置的效率，日志中心提供了一系列便捷的功能，幫助用戶快速而準確地完成配置：

• 日志路徑預覽：支持逐級預覽物理環(huán)境中的日志路徑，確保用戶能夠準確選擇目標路徑，避免因路徑輸入錯誤而導致的日志采集問題，從而提高采集的準確性。
• 日志預覽：用戶可以實時預覽物理環(huán)境中的日志內(nèi)容和格式，這一功能有助于用戶更好地理解日志結構，確保采集配置的合理性和有效性。
• 日志過濾：通過配置過濾規(guī)則，用戶可以精確控制采集的日志數(shù)據(jù)。只有滿足特定過濾條件的日志才會被采集，這樣不僅滿足了用戶的采集需求，還有效降低了日志采集后傳輸帶寬的占用，提高了系統(tǒng)的整體效率。
• 基于采集配置模板：支持用戶基于現(xiàn)有的采集配置模板快速完成新的采集配置。此外，用戶還可以將當前的采集配置保存為模板，以便在后續(xù)的接入任務中重復使用，進一步簡化配置流程。

而對于用戶在采集配置階段保存的采集模板，可在模板管理中進行管理，同時也可以在模板管理中直接新增采集模板。

2）接入第三方ES消費日志

如果日志數(shù)據(jù)已經(jīng)通過其他工具采集并存儲在Elasticsearch中，日志中心同樣支持直接接入第三方ES存儲源，以便用戶能夠輕松消費和分析這些日志數(shù)據(jù)。這一功能使得用戶無需重復采集，能夠高效利用現(xiàn)有的數(shù)據(jù)資源。

02. 數(shù)據(jù)處理

1）數(shù)據(jù)清洗

支持基于JSON、分隔符和正則表達式三種字段提取方式，實現(xiàn)日志數(shù)據(jù)結構化，提升日志可讀性。

同時支持使用已有的字段提取模板，日志中心內(nèi)置了20+套清洗模板，并支持用戶自定義提取模板，不僅可以提升日志清洗的效率，還可以助力企業(yè)日志標準化建設，有利于減輕落地推廣的難度。

支持用戶在數(shù)據(jù)清洗步驟中，直接將字段提取規(guī)則保存為模板，之后可在模板管理中進行管理，同時也可以在模板管理中直接新增字段提取模板。

2）數(shù)據(jù)存儲

① Elasticsearch溫熱分層存儲

支持ES溫熱分層，日志接入步驟中，根據(jù)數(shù)據(jù)的訪問頻率可以對數(shù)據(jù)進行溫、熱分層，訪問頻率高數(shù)據(jù)為熱數(shù)據(jù)，訪問頻率低的數(shù)據(jù)為溫數(shù)據(jù)。溫熱兩層存儲模式，節(jié)省至少30%存儲成本。

② 日志歸檔

除了通過Elasticsearch的溫熱分層技術降低存儲成本外，日志中心還提供了HDFS、騰訊云COS和共享目錄三種歸檔倉庫的創(chuàng)建選項。用戶可以基于這些歸檔倉庫創(chuàng)建歸檔任務，實現(xiàn)日志的有效歸檔功能。這使得需要長時間保留的日志能夠安全地轉移至成本更低的存儲設備，優(yōu)化了存儲資源的使用。這樣的歸檔策略不僅降低了存儲費用，還確保了數(shù)據(jù)的安全性和可訪問性，滿足了合規(guī)性要求和業(yè)務需求。

創(chuàng)建完歸檔倉庫后，用戶可以基于該倉庫創(chuàng)建歸檔任務。當Elasticsearch中存儲的日志數(shù)據(jù)達到設定的過期時間后，將自動觸發(fā)日志數(shù)據(jù)的歸檔過程。用戶還可以靈活配置日志數(shù)據(jù)在歸檔倉庫中的存放時長，以便于滿足不同的業(yè)務需求和合規(guī)要求。

對于已經(jīng)遷移到歸檔倉庫的日志數(shù)據(jù)，系統(tǒng)提供歸檔回溯功能，將日志數(shù)據(jù)重新載入到Elasticsearch中，此外，用戶可以靈活配置日志數(shù)據(jù)在Elasticsearch中的過期時間，以便有效管理存儲資源和數(shù)據(jù)生命周期。

③ 數(shù)據(jù)脫敏

日志中心支持對數(shù)據(jù)清洗后的字段進行脫敏處理，涵蓋從全文脫敏和部分脫敏策略，以確保滿足各類安全合規(guī)要求，同時確保脫敏后的數(shù)據(jù)依然保持其檢索功能的完整性和高效性，不影響日志檢索分析工作的進行。此外，針對不同角色，日志中心可以設置是否展示原文，例如后臺管理員可以不受脫敏影響。

• 全文脫敏：支持對提取后的日志字段進行全面脫敏處理。在進行全文脫敏后，相關日志數(shù)據(jù)在檢索時將全部以脫敏形式展示。

• 部分脫敏：部分脫敏功能支持對提取后的日志字段進行靈活的部分脫敏處理。通過設定脫敏規(guī)則，用戶可以在日志檢索時保留字段的前后字符，而對其余數(shù)據(jù)進行脫敏展示。

03. 日志檢索

日志中心支持通過Elasticsearch原生語法和正則表達式進行日志查詢，提供近實時的搜索能力。用戶可以進行全文檢索、跨業(yè)務檢索以及脫敏檢索，以滿足不同場景下的需求。此外，系統(tǒng)還提供一鍵轉化為監(jiān)控策略的功能，簡化了監(jiān)控配置的過程。結合實時日志和上下文能力，用戶能夠更高效地進行故障排查和問題分析。

• QueryString語法和正則表達式匹配：支持通過QueryString語法和正則表達式匹配方式進行靈活的日志查詢。用戶可以使用QueryString語法，簡單明了地構造查詢條件，以便快速篩選所需的日志數(shù)據(jù)。同時，正則表達式匹配方式提供了更強大的查詢功能，允許用戶根據(jù)特定的模式高效地檢索日志信息。這種組合方式能夠滿足不同場景下的查詢需求，提高日志分析的效率。

• 關鍵字全文檢索：支持通過關鍵字進行全文模糊匹配搜索日志，用戶可以輸入一個或多個關鍵字，系統(tǒng)將自動檢索包含這些關鍵字的相關日志記錄，通過模糊匹配，用戶即使不完全記得關鍵字的準確拼寫或形式，也能有效找到相關內(nèi)容。這種搜索方式極大地提升了日志分析的便捷性，助力用戶迅速獲取所需信息。

• 組合條件檢索：支持通過與、或、非等組合條件查詢?nèi)罩?/span>，用戶可以按照需求場景靈活構建復雜的查詢邏輯。

• 聯(lián)合檢索：提供聯(lián)合檢索功能，用戶可以關聯(lián)多個業(yè)務系統(tǒng)之間的日志進行綜合排查。通過這一功能，用戶能夠跨系統(tǒng)地整合和分析日志數(shù)據(jù)，從而更全面地識別和解決問題。

• 日志聚類分析：支持日志聚類能力，能夠?qū)⑶f條日志數(shù)據(jù)聚合為十幾種格式類型，從而顯著提高信息密度。通過這一功能，運維人員可以避免耗費大量時間在重復數(shù)據(jù)上，快速聚焦于關鍵信息。

• 日志上下文查看：日志上下文功能，方便用戶查看當前日志的上下文信息，深入了解事件發(fā)生的前后關系。此外，該功能還支持對上下文日志進行關鍵字檢索，并提供高亮提示，幫助用戶快速識別與當前日志相關的重要信息。

• 實時日志查看：支持實時日志查看，用戶可以隨時監(jiān)控當前設備的實時日志，確保對系統(tǒng)狀態(tài)的即時了解。此外，該功能還允許用戶對實時日志進行關鍵字檢索，并提供高亮提示，幫助用戶快速定位關鍵信息。

• 一鍵生成監(jiān)控策略：支持將當前的檢索語句一鍵轉換為監(jiān)控策略，極大提升監(jiān)控覆蓋率。這一功能使得運維人員能夠快速將有效的檢索表達式轉化為自動監(jiān)控規(guī)則，確保系統(tǒng)關鍵指標和異常情況得到實時監(jiān)控。

04. 日志監(jiān)控

日志中心支持多種異常檢測方式，包括日志關鍵字檢測、日志指標數(shù)據(jù)檢測、無數(shù)據(jù)異常檢測和智能指標檢測。結合靜態(tài)閾值、同比策略（高級）、環(huán)比策略（高級）、同比策略（簡易）、環(huán)比策略（簡易）、同比振幅、環(huán)比振幅和同比區(qū)間等8種異常檢測算法，日志中心能夠實現(xiàn)多場景的日志監(jiān)控。這些強大的檢測能力確保了業(yè)務的穩(wěn)定性，幫助用戶及時識別和應對潛在問題，從而有效維護系統(tǒng)的健康運行。通過綜合運用多種檢測算法，用戶能夠獲得更全面的監(jiān)控視角，提升故障預警的準確性和響應速度。

• 關鍵字檢測：關鍵字檢測功能支持用戶通過自定義檢索語句獲取符合條件的日志記錄，并結合8種異常檢測算法，實現(xiàn)對日志關鍵字的全面監(jiān)控。

• 日志指標數(shù)據(jù)檢測：日志數(shù)據(jù)格式化清洗轉化為指標時序數(shù)據(jù)后，可當指標數(shù)據(jù)進行使用，并結合8種異常檢測算法，可實現(xiàn)日志指標的監(jiān)控。

• 無數(shù)據(jù)異常檢測：無數(shù)據(jù)異常檢測功能支持用戶監(jiān)控自定義時間段內(nèi)的日志采集情況，當在設定的時間范圍內(nèi)未采集到任何日志數(shù)據(jù)時，將自動觸發(fā)告警。

• 智能指標檢測：智能指標檢測功能提供了先進的日志分析能力，使用戶能夠迅速而清晰地識別日志中的異常變化。系統(tǒng)會自動根據(jù)特定格式的日志數(shù)據(jù)進行量統(tǒng)計，從而判斷是否存在異常情況，包括突增、突減、數(shù)值偏離或格式變化等。

05. 日志告警處理

支持觸發(fā)閾值后的告警處理策略配置，支持自動分派、自動關閉、自愈處理以及自動轉工單的處理方案，并且可以根據(jù)通知場景配置告警通知的頻率以及方式。

總的來說，日志中心以其全面的功能、高效的性能和智能的監(jiān)控能力，為企業(yè)提供了一套完整的日志統(tǒng)一管理解決方案。它不僅能夠幫助企業(yè)實現(xiàn)日志數(shù)據(jù)的集中管理和高效利用，還能夠提升運維效率和系統(tǒng)穩(wěn)定性，是企業(yè)運維排障中不可或缺的重要工具。