Agentic AI 時代的資訊檢索

TL;DR

• 典範轉移:從傳統 IR / classic RAG 的直線流程(query → 取文件 → 排序 → rerank → 給使用者一份清單),轉向 agentic flow(planning → 判斷 query intent → 搜尋 → 蒐集 → 分析 → critique → 給出最終結果)。工作單位從 lookup 變成「與世界的持續對話」,而且動輒 20 turns 以上、變成 multi-hop。
• 令人不安的落差:互動已經是多輪、有時間性、須有證據支撐的,但評估還停在看最終答案、用 BLEU / ROUGE 打分。這對 agentic IR 根本不管用。
• 該怎麼做:改看 trace——逐跳評估正確性、每一跳是否足以回答使用者的問題,以及 token 數與 latency 這類成本指標。
• 領域走向:reasoning-aware retrieval(用 agent 的推理 trace 而非只有 query keywords)、multi-turn / hop-aware benchmark(如 MTRAG)、graph RAG、self-RAG(抑制幻覺)、adaptive RAG(依複雜度與成本路由 query),以及把 token 用量本身當成一個 IR 指標。

重點整理

從 classic RAG 到 agentic IR(約 00:32–00:34)

Roosta 用一組對照開場。傳統資訊檢索 / classic RAG 是一條直線:使用者送出 query → 搜尋引擎取回文件 → 產生排序清單 → rerank → 把清單呈現給使用者。

Agentic flow 則不同:agent 會做 planning、試著弄清楚這個 query 的 intent、執行搜尋、蒐集結果、分析、critique,最後才給出結論。她的總結是:工作單位已經從「查詢」變成「與世界持續進行的一場對話」。

這件事最明顯地體現在 deep research agent 上。她舉的例子是一個關於膽固醇藥物的問題:agent 先理解問題意圖,然後用各種工具去蒐集網站資料、價格資訊、藥物交互作用等等,再把答案扎根在檢索到的證據上,最後呈現給使用者——省下人類自己翻文件與部落格文章的好幾個小時。她提到現在這類 agentic IR 常常跑到 20 個 turn 左右,已經是 multi-hop 的東西。

落差:評估方法還停在單輪時代(約 00:34–00:35)

「但這裡有一個令人不安的落差。」我們要評估 agentic IR 時,仍然傾向只看最終答案,用 BLEU、ROUGE 這類分數判斷答案對不對。可是現在的資訊尋求是互動的、多輪的、有時間面向的、而且必須是 evidence-driven——單看最終答案根本測不準。

她的處方是回到 trace:逐跳去評估每一步的正確性、每一跳是否足以回答使用者的問題,以及成本面——用了多少 token、延遲多少。

領域正在往哪走(約 00:36)

她列出幾條正在成形的方向:

• Reasoning-aware retrieval:檢索訊號不再只有 query 的關鍵字,而是納入 agent 的推理 trace。
• Multi-turn / hop-aware benchmark:如 MTRAG 這類專為多輪對話式 RAG 設計的評估集。
• Graph RAG:讓檢索看得到實體之間的關係。
• Self-RAG:用來削掉一部分幻覺。
• Adaptive RAG:依 query 的複雜度與所需投入來路由。
• 把 token 用量當指標:實際計算並最佳化用掉多少 token,把它視為資訊檢索的一項評估指標。

收尾:我們尋求資訊的方式已經改變,agent 改變了我們取得資訊的方法;那麼我們評估「這些 agent 有沒有做對事、有沒有達成它設定的目標」的方式,也必須跟著改變。