隨著大模型技術(shù)的迅猛發(fā)展，檢索增強(qiáng)生成（RAG）已成為構(gòu)建智能知識庫的核心方案。嘉為藍(lán)鯨OpsPilot依托RAG技術(shù)打造高效知識處理體系，提取與分塊拆分語義單元，為后續(xù)流程筑牢根基；Embedding及檢索將問題與知識庫中內(nèi)容匹配定位。而如果把知識分塊比作櫻桃，Rerank就是分揀器：接收初步檢索到的知識“櫻桃”，再測量每顆櫻桃的直徑（相關(guān)性）和糖分（內(nèi)容質(zhì)量），從大到小排列送入LLM大模型的“果盤”，而排在需求數(shù)量之外的小顆粒、酸澀的櫻桃（低相關(guān)內(nèi)容）則被分揀剔除。

01.Rerank原理與作用

1）Rerank在RAG流程中的生效機(jī)制與原理

在RAG流程中，經(jīng)過前期的文檔提取分塊、Embedding向量化以及檢索步驟后，會初步篩選出一批與用戶問題相關(guān)的文本內(nèi)容。然而，這些內(nèi)容的相關(guān)性和質(zhì)量參差不齊。Rerank此時介入，它基于特定的算法和模型，對初步檢索得到的文本集合進(jìn)行重新排序，將最相關(guān)、最優(yōu)質(zhì)的文本內(nèi)容置于前列。通過“粗篩+精排”優(yōu)化檢索質(zhì)量，為回答提供優(yōu)質(zhì)基礎(chǔ)。

Rerank（重排序）的具體實現(xiàn)是通過機(jī)器學(xué)習(xí)模型，捕捉復(fù)雜語義（如一詞多義、隱含意圖），對初步檢索結(jié)果進(jìn)行二次語義評估。具體步驟如下：

從而實現(xiàn)以下作用，優(yōu)化檢索結(jié)果：

• 彌補(bǔ)語義短板：突破傳統(tǒng)檢索的表面匹配，找到“關(guān)鍵詞不同但意思相近”的優(yōu)質(zhì)內(nèi)容。
• 精準(zhǔn)篩選排序：通過多維度打分剔除低質(zhì)信息，讓檢索結(jié)果更聚焦用戶真實需求。
• 輸入內(nèi)容優(yōu)化：為大模型提供篩選排序后的高質(zhì)量文檔，降低回答偏差風(fēng)險。

02.OpsPilot中的Rerank模型

OpsPilot內(nèi)置了bce-Reranker-base模型提供Rerank功能，對比其他Rerank模型，本模型的核心優(yōu)勢可總結(jié)為以下三點：

• 排序精準(zhǔn)性更強(qiáng)：通過大量對比“好內(nèi)容”和“差內(nèi)容”訓(xùn)練模型，讓模型更會判斷語義匹配度，打分更精準(zhǔn)，能識別出“堆砌關(guān)鍵詞但內(nèi)容無關(guān)”的假相關(guān)內(nèi)容。
• 輕量高效易部署：采用優(yōu)化的輕量化設(shè)計，在保持高性能的同時降低計算資源消耗，適配多種硬件環(huán)境，部署成本遠(yuǎn)低于同類深度學(xué)習(xí)模型。
• 泛化能力更優(yōu)：預(yù)訓(xùn)練覆蓋多領(lǐng)域數(shù)據(jù)，對運維等專業(yè)場景的復(fù)雜查詢適配性強(qiáng)，可靈活處理自然語言的模糊表述，輸出穩(wěn)定可靠的重排序結(jié)果。

03.重排序打分效果

在OpsPilot的RAG過程中，Rerank在初步檢索結(jié)果的基礎(chǔ)上展開——Rerank模型接收初步檢索得到的文本集合與用戶問題，然后對每一個文本與問題的組合進(jìn)行分析，通過多方面特征進(jìn)行提取和比對，以分?jǐn)?shù)形式展現(xiàn)各個組合的相關(guān)程度。最后，高分的文本會被優(yōu)先選取并與問題一起構(gòu)成提示詞輸入到大語言模型中，輸出更精準(zhǔn)、更有價值的答案。

04.嘉為藍(lán)鯨OpsPilot——更懂運維的AI平臺

嘉為藍(lán)鯨OpsPilot是集知識庫管理、技能配置、機(jī)器人管理及工具管理于一體的智能運維支撐平臺，深度融合LLM大模型的語義理解、知識增強(qiáng)與多模態(tài)處理能力，聚焦運維領(lǐng)域，突破單一LLM能力局限，成為更懂運維的智能AI平臺。