假設你在公司 IT 知識庫搜尋「My laptop won’t turn on.」(我的筆電無法開機)。兩篇文件中,一篇說「按下電源鍵後,電腦無法啟動」,另一篇介紹「適合出國旅行的筆電保護套」。
如果只找有沒有出現 laptop 這個字,保護套那篇會被找出來。真正值得先讀的,卻是描述開機故障的那一篇。搜尋能不能跨過用詞的差異,找到和問題相關的內容?
從 Token ID 到文字向量
在前一篇談 Tokenization 的文章裡,我提到,文字會被拆成 tokens,再對應到 token IDs。這些 ID 用來辨識 token。做語意搜尋時,我們則會把一句話或一小段文字交給 embedding 模型,取得一組用來比較內容的數字,也就是文字嵌入向量(text embedding)。
用向量相似度排列結果
查詢和文件使用同一個 embedding 模型轉成向量,程式就能用餘弦相似度(cosine similarity)來比較,再按分數排序。回到開機的例子,「筆電無法開機」和「電腦無法啟動」用字不同,描述的卻是相近的故障,因此向量可能更相似。分數可以幫我們決定先看哪篇,文件能不能解決問題,還是要看原文。
語意搜尋如何接到 RAG?
同樣的做法也能用來推薦主題相近的文章,或替 RAG 問答找參考資料。Embedding 模型負責產生向量,搜尋程式負責找出相關內容。 如果接上 RAG,生成模型就能根據找回的內容整理回答。
我在 AI Espresso 的影片裡,用四筆 Helpdesk 資料做了個小型 C# Demo。你可以看到同一個問題用關鍵字比對和向量相似度搜尋時,結果有什麼差別。
