跳轉到

五篇論文悄悄終結 GraphRAG 的「LLM 稅」

文章資訊

作者：Alexander Shereshevsky　　日期：2026-06-13

原文標題：Five Papers Quietly Killing the LLM Tax in GraphRAG

Medium 原連結：https://medium.com/graph-praxis/five-papers-quietly-killing-the-llm-tax-in-graphrag-5ff2e75923f9

🎧 摘要語音

📝 重點摘要

TL;DR

五篇新論文用統計與 GNN 取代 LLM，將 GraphRAG 成本砍掉一個數量級。

核心問題

標準 GraphRAG（如微軟 From Local to Global）在回答問題前，光是實體抽取、關係抽取、摘要、社群報告就消耗約 75% 的索引成本，且查詢時還要 map-reduce。作者稱此為「LLM 稅」——用大模型做其實不需要大模型的工作。

關鍵發現 / 數據

  • AGRAG：以 TF-IDF 取代 LLM 實體抽取，token 節省最高 3.69×，零實體幻覺。
  • LinearRAG（ICLR 2026）：完全消除關係抽取，建圖耗 0 token，在 HotpotQA、2Wiki、MuSiQue 上超越昂貴方法。
  • E²GraphRAG：用 SpaCy + 摘要樹，索引快 10×、檢索比 LightRAG 快 100×，且結果可重現。
  • GNN-RAG（ACL 2025）：7B 模型 + 單張 24GB GPU 即可匹敵 GPT-4，多跳題 F1 高出 8.9–15.5 個百分點。
  • DRAG：蒸餾後 Llama-3.1-8B 在 ARC-Challenge 達 93.1%，較 MiniRAG 高出最多 27.7%。

方法亮點

  • AGRAG 將檢索建模為「最小成本最大影響子圖」，並線性化為帶推理路徑的文字。
  • LinearRAG 的 Tri-Graph（實體/句子/段落，僅靠包含與共現連接）+ Personalized PageRank 做多跳語意橋接。
  • GNN-RAG 用 ReaRev（關係感知 GNN）做一次前向傳播推理，再把最短路徑語言化交給 LLM 生成。
  • DRAG 以 GPT-4o 為師蒸餾出精簡知識圖，並內建查詢改寫的隱私防火牆。

對我的研究有用嗎？

非常相關。「LLM 稅」的階段拆解框架（抽取/摘要/遍歷/生成）很適合用來定位成本瓶頸。LinearRAG「檢索不需關係標籤、交給下游 LLM 推斷」與 GNN 取代序列式圖推理的思路值得借鏡；GraphRAG-Bench 提醒單跳事實題上圖反而劣於 vanilla RAG，是重要的負面警示。

評語

值得一讀的優質綜述，論點清晰、附原始連結；但數據來自各自不同 benchmark、尚未整合驗證，宣稱需保留懷疑。

🌐 中英對照

Author: Alexander Shereshevsky Published: Source: https://medium.com/graph-praxis/five-papers-quietly-killing-the-llm-tax-in-graphrag-5ff2e75923f9 Fetched: 2026-06-13T00:43:21.592639

Five Papers Quietly Killing the LLM Tax in GraphRAG / 五篇悄悄終結 GraphRAG「大型語言模型稅」的論文

Press enter or click to view image in full size

按下 Enter 或點擊以全尺寸檢視圖片

Standard GraphRAG spends 75% of its token budget before a single question is asked. Five recent papers are dismantling that cost structure — one pipeline stage at a time. Here’s what a post-LLM GraphRAG might look like.

標準的 GraphRAG 在還沒被問到任何一個問題之前，就已經花掉了 75% 的詞元 (token) 預算。最近的五篇論文正在拆解這種成本結構——一次解決一個管線 (pipeline) 階段。以下就是「後大型語言模型 (post-LLM)」時代的 GraphRAG 可能的樣貌。

There’s an uncomfortable spreadsheet that every team building a GraphRAG system eventually creates. It has three columns: pipeline stage, LLM calls per document, and cost. The bottom row is always a surprise.

每一個建構 GraphRAG 系統的團隊，最終都會做出一張令人不太舒服的試算表。它有三欄：管線階段、每份文件的大型語言模型 (LLM) 呼叫次數、以及成本。最底下那一列總是令人意外。

Microsoft’s original GraphRAG — the “From Local to Global” architecture that launched a thousand repos — is elegant in theory. Build a knowledge graph from your documents, organize it into communities, generate summaries at each level, and retrieve over structure instead of flat vectors. In practice, it’s an LLM bill with a retrieval system attached.

微軟最初的 GraphRAG——那個催生了上千個程式碼倉庫 (repo) 的「從局部到全域 (From Local to Global)」架構——在理論上相當優雅。從你的文件建構一張知識圖譜 (Knowledge Graph)，將它組織成社群 (community)，在每個層級產生摘要，然後在結構之上進行檢索，而非在扁平的向量上檢索。但在實務中，它其實是一張附帶了檢索系統的大型語言模型帳單。

Here’s why. Before your GraphRAG pipeline can answer a single question, it needs to: extract entities from every text chunk (LLM call), extract relations between those entities (LLM call), summarize each entity across all its appearances (LLM call), summarize each relation across all its appearances (LLM call), detect communities and generate reports for each one (LLM call). Microsoft’s own documentation estimates that graph extraction — just the first four steps — accounts for roughly 75% of total indexing cost.

原因如下。在你的 GraphRAG 管線能回答任何一個問題之前，它必須：從每個文字區塊 (chunk) 中抽取實體 (entity)（一次 LLM 呼叫）、抽取這些實體之間的關係 (relation)（一次 LLM 呼叫）、針對每個實體在所有出現處進行摘要（一次 LLM 呼叫）、針對每個關係在所有出現處進行摘要（一次 LLM 呼叫）、偵測社群並為每一個社群產生報告（一次 LLM 呼叫）。微軟自己的文件估計，圖譜抽取——光是前四個步驟——就佔了總索引 (indexing) 成本約 75%。

Then, at query time, you’re running map-reduce over community summaries. More LLM calls. For every question.

接著，在查詢 (query) 時，你還要對社群摘要執行 map-reduce。更多的 LLM 呼叫。每一個問題都是如此。

I’ve started thinking of this as the LLM Tax — the cumulative cost of using a large language model for tasks that may not actually require one. And in 2025–2026, five research papers published within months of each other are systematically stripping that tax out of the GraphRAG pipeline. Each one targets a different stage. Together, they sketch something that didn’t seem possible eighteen months ago: GraphRAG without the LLM bill.

我開始把這稱為大型語言模型稅 (LLM Tax)——也就是把大型語言模型用在那些其實未必需要它的任務上所累積的成本。而在 2025 至 2026 年間，五篇相隔僅數月發表的研究論文，正在有系統地把這項稅金從 GraphRAG 管線中剝除。每一篇都瞄準一個不同的階段。合在一起，它們勾勒出十八個月前看似不可能的東西：沒有大型語言模型帳單的 GraphRAG。

Press enter or click to view image in full size

按下 Enter 或點擊以全尺寸檢視圖片

Paper 1: AGRAG — The Entity Extraction Tax / 論文一：AGRAG——實體抽取稅

The tax: Every chunk of text gets sent to an LLM with a prompt like “extract all named entities and their descriptions.” The LLM returns structured JSON. Except when it doesn’t — which, with 7B–8B models, is roughly 30–40% of the time. Malformed brackets, hallucinated entities, and inconsistent naming. Five retries per call is standard. The cost isn’t just tokens — it’s tokens multiplied by failure rate.

這項稅金：每一個文字區塊都會被連同一段像是「抽取所有命名實體及其描述」的提示詞 (prompt) 送進大型語言模型。LLM 會回傳結構化的 JSON。但有時並不會——以 7B 至 8B 的模型來說，大約有 30% 至 40% 的時候會失敗。格式錯誤的括號、幻覺 (hallucination) 出來的實體、以及不一致的命名。每次呼叫重試 (retry) 五次是常態。成本不只是詞元——而是詞元乘上失敗率。

The fix: AGRAG (November 2025) replaces LLM entity extraction with TF-IDF scoring. The logic is almost disappointingly simple: entities are terms that are statistically distinctive — high frequency in a specific chunk, low frequency across the corpus. No neural network. No prompting. No JSON parsing. No retries.

這項解法：AGRAG（2025 年 11 月）以 TF-IDF 評分取代了大型語言模型的實體抽取。其邏輯簡單到幾乎令人失望：實體就是那些在統計上具有辨識度的詞——在特定區塊中頻率高、在整個語料庫 (corpus) 中頻率低。沒有神經網路。沒有提示詞。沒有 JSON 解析。沒有重試。

But AGRAG’s ambition goes beyond extraction. It formulates retrieval as a Minimum Cost Maximum Influence subgraph problem — find the subgraph that captures the most query-relevant nodes at the lowest edge cost. The resulting subgraph is linearized into a text string that gives the LLM explicit reasoning paths: not just “here are your chunks” but “here’s why these chunks are connected to your question.”

但 AGRAG 的企圖心超越了抽取本身。它把檢索表述為一個最小成本最大影響力子圖 (Minimum Cost Maximum Influence subgraph) 問題——找出能以最低的邊 (edge) 成本捕捉最多與查詢相關節點 (node) 的子圖。所產生的子圖會被線性化 (linearize) 成一段文字字串，為大型語言模型提供明確的推理 (reasoning) 路徑：不只是「這是你的區塊」，而是「這就是為什麼這些區塊與你的問題相關」。

The economic result: up to 3.69× token savings versus standard GraphRAG on tested benchmarks. And a side benefit that’s hard to put a price on — zero entity hallucination. You can’t hallucinate a TF-IDF score.

經濟上的結果：在受測的基準 (benchmark) 上，相較於標準 GraphRAG 最多可達 3.69 倍的詞元節省。還有一個難以標價的附帶好處——零實體幻覺。你無法幻覺出一個 TF-IDF 分數。

Paper 2: LinearRAG — The Relation Extraction Tax (Eliminated) / 論文二：LinearRAG——關係抽取稅（已消除）

The tax: After extracting entities, GraphRAG sends chunks back to the LLM to describe relationships between entity pairs. “Dr. Smith” and “Johns Hopkins” appear in the same paragraph — what’s the relationship? “Works at”? “Founded”? “Studied at”? The LLM guesses, and it often guesses wrong. This is the step that breaks first on small models. It’s also roughly a quarter of the entire indexing budget.

這項稅金：在抽取出實體後，GraphRAG 會把區塊送回大型語言模型，以描述實體對 (entity pair) 之間的關係。「Smith 醫生」和「約翰霍普金斯大學 (Johns Hopkins)」出現在同一個段落——它們的關係是什麼？「任職於」？「創立了」？「就讀於」？大型語言模型用猜的，而且常常猜錯。這是在小模型上最先出問題的步驟。它也大約佔了整個索引預算的四分之一。

The fix: LinearRAG (accepted at ICLR 2026) doesn’t replace relation extraction with something cheaper. It eliminates relation extraction entirely.

這項解法：LinearRAG（已獲 ICLR 2026 接受）並不是用某個更便宜的東西來取代關係抽取。它徹底消除了關係抽取。

The insight is counterintuitive: for retrieval purposes, you don’t need to know that the relationship between Dr. Smith and Johns Hopkins is “works at.” You just need to know they’re connected. The downstream LLM can figure out the nature of the relationship from the source text — that’s what language models are actually good at.

其洞見是反直覺的：就檢索的目的而言，你並不需要知道 Smith 醫生與約翰霍普金斯大學之間的關係是「任職於」。你只需要知道它們有連結。下游的大型語言模型可以從原始文字中推斷出這段關係的本質——這正是語言模型真正擅長的事。

LinearRAG builds a Tri-Graph with three node types — entities, sentences, and passages — connected only by containment (“this entity appears in this sentence”) and co-occurrence (“these entities appear together”). No edge labels. No relation types. At retrieval time, Personalized PageRank propagates relevance scores through the structure, and a semantic bridging mechanism handles multi-hop reasoning: entity A (in your query) → shared sentence → entity B (bridge) → different passage with the answer.

LinearRAG 建構出一個具有三種節點類型的三元圖 (Tri-Graph)——實體、句子與段落——它們僅透過包含關係（「這個實體出現在這個句子裡」）與共現 (co-occurrence)（「這些實體一起出現」）來連結。沒有邊標籤。沒有關係類型。在檢索時，個人化 PageRank (Personalized PageRank) 會將相關性分數在結構中傳播，而一個語意橋接 (semantic bridging) 機制則處理多跳 (multi-hop) 推理：實體 A（在你的查詢中）→ 共享的句子 → 實體 B（橋樑）→ 含有答案的另一個段落。

The economic result: zero LLM tokens consumed during graph construction. Linear time and space complexity. And on multi-hop QA benchmarks — HotpotQA, 2WikiMultiHopQA, MuSiQue — LinearRAG outperforms systems that spent orders of magnitude more on explicit relation extraction.

經濟上的結果：在圖譜建構期間消耗零大型語言模型詞元。線性的時間與空間複雜度。而且在多跳問答 (QA) 基準——HotpotQA、2WikiMultiHopQA、MuSiQue——上，LinearRAG 的表現勝過那些在顯式關係抽取上多花了好幾個數量級成本的系統。

The same research group also published GraphRAG-Bench (also at ICLR 2026), which found that standard GraphRAG frequently underperforms vanilla RAG on straightforward factual tasks such as Natural Questions. The relation extraction tax isn’t just expensive — on many tasks, it’s buying you negative value.

同一個研究團隊也發表了 GraphRAG-Bench（同樣在 ICLR 2026），其發現標準 GraphRAG 在諸如 Natural Questions 這類直接的事實型任務上，經常表現不如原始的 RAG (vanilla RAG)。關係抽取稅不只是昂貴——在許多任務上，它買到的是負價值。

Press enter or click to view image in full size

按下 Enter 或點擊以全尺寸檢視圖片

Paper 3: E²GraphRAG — The Full Extraction Tax / 論文三：E²GraphRAG——完整抽取稅

The tax: Papers 1 and 2 each target one extraction step. E²GraphRAG targets both simultaneously — the entire extraction pipeline.

這項稅金：論文一與論文二各自瞄準一個抽取步驟。E²GraphRAG 則同時瞄準兩者——也就是整條抽取管線。

The fix: E²GraphRAG (May 2025) replaces LLM-based extraction with SpaCy, a traditional NLP library that’s been doing named entity recognition since before transformers existed. Entities are identified by SpaCy’s NER models. Relations are defined as co-occurrence within a sentence — if “insulin resistance” and “gestational diabetes” appear in the same sentence, they’re connected. No LLM call. No prompting. No structured output parsing.

這項解法：E²GraphRAG（2025 年 5 月）以 SpaCy 取代了以大型語言模型為基礎的抽取；SpaCy 是一個傳統的自然語言處理 (NLP) 函式庫，早在 transformer 出現之前就在做命名實體辨識 (Named Entity Recognition, NER) 了。實體由 SpaCy 的 NER 模型辨識。關係則被定義為句子內的共現——如果「胰島素阻抗 (insulin resistance)」和「妊娠糖尿病 (gestational diabetes)」出現在同一個句子裡，它們就有連結。沒有 LLM 呼叫。沒有提示詞。沒有結構化輸出的解析。

But E²GraphRAG adds two things that the previous papers don’t. First, a summary tree: chunks are recursively merged and summarized into a hierarchy, from chunk-level detail up to corpus-level overview. This is the one place where an LLM is still used during indexing, but it’s optional — only needed for “global” queries that require corpus-wide synthesis. Second, adaptive retrieval: a lightweight mechanism that automatically switches between local mode (follow entity connections in the graph) and global mode (traverse the summary tree) based on how the query entities are distributed in the graph. Dense entity connections → local. Sparse or disconnected → global.

但 E²GraphRAG 加入了前面那些論文所沒有的兩樣東西。首先是摘要樹 (summary tree)：區塊會被遞迴地合併並摘要成一個層級結構，從區塊層級的細節一路往上到語料庫層級的概觀。這是索引過程中唯一仍會用到大型語言模型的地方，但它是選用的——只有在需要跨語料庫綜合的「全域」查詢時才需要。其次是自適應檢索 (adaptive retrieval)：一個輕量的機制，會根據查詢實體在圖中如何分布，自動在局部模式（在圖中追蹤實體連結）與全域模式（走訪摘要樹）之間切換。實體連結密集 → 局部。稀疏或不相連 → 全域。

The economic result: 10× faster indexing than standard GraphRAG, 100× faster retrieval than LightRAG. And because SpaCy’s NER is deterministic, the entity graph is reproducible — the same input always produces the same graph. No stochastic variation from LLM temperature or prompt sensitivity.

經濟上的結果：索引速度比標準 GraphRAG 快 10 倍，檢索速度比 LightRAG 快 100 倍。而且因為 SpaCy 的 NER 是確定性 (deterministic) 的，實體圖譜是可重現的——相同的輸入永遠產生相同的圖。沒有來自大型語言模型溫度 (temperature) 或提示詞敏感度的隨機變異。

Paper 4: GNN-RAG — The Graph Reasoning Tax / 論文四：GNN-RAG——圖推理稅

The tax: You’ve built the graph. Now you need to traverse it. Standard approaches either use greedy local search (cheap but misses important paths) or rely on the LLM for multi-step reasoning over the graph (accurate but expensive). The ToG (Think-on-Graph) approach with GPT-4 costs an estimated $800+ per benchmark run — multiple sequential LLM calls, each one reasoning about the next traversal step.

這項稅金：你已經建好了圖。現在你需要走訪 (traverse) 它。標準做法要嘛使用貪婪式 (greedy) 局部搜尋（便宜但會錯過重要路徑），要嘛依賴大型語言模型在圖上進行多步驟推理（準確但昂貴）。搭配 GPT-4 的 ToG（圖上思考，Think-on-Graph）做法，每跑一次基準估計要花 800 美元以上——多次循序的 LLM 呼叫，每一次都在推理下一個走訪步驟。

The fix: GNN-RAG (ACL 2025 Findings) delegates graph reasoning to a Graph Neural Network. GNNs are architecturally built for this — message passing natively captures multi-hop relationships in a single forward pass. No sequential LLM calls. No linearizing the graph into text and hoping the LLM can parse structure from prose.

這項解法：GNN-RAG（ACL 2025 Findings）把圖推理委派給一個圖神經網路 (Graph Neural Network, GNN)。GNN 在架構上就是為此而生的——訊息傳遞 (message passing) 能在單一次前向傳遞 (forward pass) 中原生地捕捉多跳關係。沒有循序的 LLM 呼叫。不用把圖線性化成文字、再寄望大型語言模型能從散文中解析出結構。

The two-stage architecture: First, the GNN (specifically ReaRev, a relation-aware reasoning network) processes a dense subgraph and identifies candidate answer entities. Second, shortest paths connecting question entities to candidates are extracted, verbalized into natural language, and handed to the LLM as RAG context for final answer generation. The LLM does one thing — generate a natural language answer from structured evidence , which is exactly what language models are best at.

這個兩階段架構：第一，GNN（具體來說是 ReaRev，一個具關係感知 (relation-aware) 的推理網路）處理一個稠密子圖，並辨識出候選答案實體。第二，連接問題實體與候選答案的最短路徑會被抽取出來、轉述成自然語言，並作為 RAG 的脈絡 (context) 交給大型語言模型來產生最終答案。大型語言模型只做一件事——從結構化證據產生一段自然語言答案，而這正是語言模型最擅長的事。

The economic result: GNN-RAG matches or outperforms GPT-4 on knowledge graph QA benchmarks (WebQSP, CWQ) using a 7B tuned LLM. On multi-hop and multi-entity questions, it beats LLM-based retrieval by 8.9–15.5 percentage points at answer F1. It uses roughly an order of magnitude fewer KG tokens than long-context approaches. And it runs on a single 24GB GPU — a roughly $800 piece of hardware replacing $800+ in per-run API costs.

經濟上的結果：GNN-RAG 使用一個 7B 的微調 (tuned) 大型語言模型，在知識圖譜問答基準（WebQSP、CWQ）上追平或超越 GPT-4。在多跳與多實體問題上，它在答案 F1 分數上勝過以大型語言模型為基礎的檢索 8.9 至 15.5 個百分點。它所使用的知識圖譜 (KG) 詞元，比長脈絡 (long-context) 做法大約少了一個數量級。而且它能在單一張 24GB 的 GPU 上運行——一塊約 800 美元的硬體，取代了每次運行 800 美元以上的 API 成本。

One important caveat from the ablations: the choice of GNN architecture matters enormously. Weak GNNs (NSM, GraftNet) underperform strong ones (ReaRev) by nearly 10 points. The GNN is doing real reasoning work here, not just filtering — and it needs to be good at it.

來自消融實驗 (ablation) 的一個重要警示：GNN 架構的選擇至關重要。弱的 GNN（NSM、GraftNet）表現比強的（ReaRev）落後將近 10 分。GNN 在這裡做的是真正的推理工作，不只是過濾——而且它必須很擅長這件事。

Press enter or click to view image in full size

按下 Enter 或點擊以全尺寸檢視圖片

Paper 5: DRAG — The Generation Tax / 論文五：DRAG——生成稅

The tax: You’ve built the graph cheaply (Papers 1–3). You’ve traversed it efficiently (Paper 4). But the final step — generating an accurate, well-reasoned answer — still assumes a capable LLM. Small models produce worse answers. They hallucinate more. They miss nuance. The generation quality gap between a 7B model and GPT-4 is real, and it’s the last argument for keeping cloud APIs in the loop.

這項稅金：你已經便宜地建好了圖（論文一至三）。你已經有效率地走訪了它（論文四）。但最後一步——產生一個準確、推理嚴謹的答案——仍然預設了一個能力強大的大型語言模型。小模型產生的答案較差。它們更容易幻覺。它們會漏掉細微之處。7B 模型與 GPT-4 之間的生成品質差距是真實存在的，而這也是繼續把雲端 API 留在流程中的最後一個論據。

The fix: DRAG (ACL 2025 Main) approaches this as a teaching problem. What if a large model could teach a small model to do graph-augmented RAG — once, during training — and then the small model runs independently?

這項解法：DRAG（ACL 2025 主會議）把這當作一個教學問題來處理。如果一個大模型能教會一個小模型去做圖增強 (graph-augmented) 的 RAG——在訓練期間教一次——然後小模型就能獨立運行，會如何呢？

The distillation pipeline has four stages. A teacher LLM (GPT-4o in the best configuration) generates multiple evidence passages for each training question. Those evidences are ranked by relevance, filtered, and compressed into a simplified knowledge graph — key entity pairs and their connections. The student SLM (anything from Gemma-2B to Llama-3.1–8B) is trained to generate answers conditioned on these distilled graphs. It learns not just the right answers, but the pattern of reasoning over structured evidence.

這條蒸餾 (distillation) 管線有四個階段。一個教師 (teacher) 大型語言模型（最佳配置下為 GPT-4o）為每個訓練問題產生多段證據段落。這些證據會依相關性排序、過濾，並壓縮成一張簡化的知識圖譜——關鍵的實體對及其連結。學生 (student) 小型語言模型 (Small Language Model, SLM)（從 Gemma-2B 到 Llama-3.1–8B 皆可）則被訓練成以這些蒸餾後的圖譜為條件來產生答案。它學到的不只是正確答案，更是對結構化證據進行推理的模式 (pattern)。

The economic result: DRAG with Llama-3.1–8B reaches 93.1% on ARC-Challenge — dramatically outperforming prior SLM-RAG methods. Across benchmarks, it surpasses MiniRAG by up to 27.7% using the same student models. The distilled graph representation uses 18.1% fewer tokens than raw evidence, compounding the savings at inference time.

經濟上的結果：搭配 Llama-3.1–8B 的 DRAG 在 ARC-Challenge 上達到 93.1%——大幅超越先前的 SLM-RAG 方法。在各項基準上，使用相同的學生模型，它最多超越 MiniRAG 27.7%。蒸餾後的圖譜表示法所使用的詞元比原始證據少了 18.1%，在推論 (inference) 時進一步疊加了節省的效果。

And there’s a bonus that doesn’t show up in benchmark tables: DRAG includes a privacy mechanism that reformulates queries and strips sensitive information before any external call. The small model becomes a privacy firewall by architecture, not by policy. For healthcare, legal, and financial applications — where data can’t leave the building — this transforms distillation from a cost optimization into an access enabler.

還有一個不會出現在基準表格裡的額外好處：DRAG 包含一個隱私機制 (privacy mechanism)，會在任何對外呼叫之前重新表述查詢並剝除敏感資訊。這個小模型憑藉架構、而非政策，成了一道隱私防火牆。對於醫療、法律與金融應用——資料不能離開機構——這把蒸餾從一項成本最佳化，轉變為一項可及性 (access) 的促成者。

Press enter or click to view image in full size

按下 Enter 或點擊以全尺寸檢視圖片

What the LLM Tax Looks Like After All Five Papers / 五篇論文之後，大型語言模型稅的樣貌

Let’s revisit that uncomfortable spreadsheet.

讓我們重新檢視那張令人不太舒服的試算表。

+------------------------+---------------------+----------------------------------------------+  
| Pipeline Stage         | Standard GraphRAG   | After These Five Papers                      |  
+------------------------+---------------------+----------------------------------------------+  
| Entity Extraction      | LLM (25% of budget) | TF-IDF or SpaCy — $0                         |  
| Relation Extraction    | LLM (25% of budget) | Eliminated or co-occurrence — $0             |  
| Entity Summarization   | LLM (12%)           | Unnecessary with statistical extraction — $0 |  
| Relation Summarization | LLM (12%)           | Unnecessary — $0                             |  
| Community Reports      | LLM (6%)            | Summary tree, optional — near $0             |  
| Graph Traversal        | LLM (per-query)     | GNN, single forward pass — near $0           |  
| Answer Generation      | LLM (per-query)     | Distilled 3B–8B SLM — local, $0 API          |  
+------------------------+---------------------+----------------------------------------------+

The LLM Tax doesn’t go to zero — you still need a language model for generation, and the summary tree still benefits from LLM-quality text. But the token budget drops by roughly an order of magnitude, the API dependency drops to zero, and the entire pipeline can run on hardware you own.

大型語言模型稅並沒有降到零——你仍然需要一個語言模型來做生成，而摘要樹也仍然受益於大型語言模型品質的文字。但詞元預算大約下降了一個數量級，對 API 的依賴降到零，而且整條管線可以在你自己擁有的硬體上運行。

For concrete context: TERAG (a related 2025 paper) demonstrated that a token-efficient graph pipeline achieves at least 80% of full GraphRAG accuracy while consuming only 3–11% of the output tokens. E²GraphRAG showed 10× faster indexing and 100× faster retrieval. GNN-RAG matches GPT-4 performance on a single 24GB GPU.

提供一些具體的背景：TERAG（一篇 2025 年的相關論文）證明，一條詞元高效 (token-efficient) 的圖譜管線，在僅消耗 3% 至 11% 輸出詞元的情況下，達到了完整 GraphRAG 準確度的至少 80%。E²GraphRAG 展現出 10 倍的索引速度與 100 倍的檢索速度。GNN-RAG 在單一張 24GB 的 GPU 上追平了 GPT-4 的表現。

Press enter or click to view image in full size

按下 Enter 或點擊以全尺寸檢視圖片

The Catch (There’s Always a Catch) / 但有個陷阱（總是會有陷阱）

These five papers aren’t a drop-in replacement for GraphRAG. They’re separate research contributions, each validated on different benchmarks, with different assumptions.

這五篇論文並不是可以直接替換 (drop-in) GraphRAG 的方案。它們是各自獨立的研究貢獻，各自在不同的基準上驗證，帶著不同的假設。

LinearRAG’s Tri-Graph hasn’t been tested with DRAG’s distillation. GNN-RAG’s retrieval is proven for knowledge graph QA, but not for the broader document-graph retrieval that most GraphRAG applications need. AGRAG’s TF-IDF extraction works well for entity-dense technical text — it’s an open question whether it generalizes to conversational or narrative corpora where entities are less clearly delineated. E²GraphRAG’s SpaCy pipeline inherits SpaCy’s NER limitations — it won’t catch domain-specific entities without fine-tuning.

LinearRAG 的三元圖還沒有跟 DRAG 的蒸餾一起測試過。GNN-RAG 的檢索在知識圖譜問答上已被證實有效，但對於大多數 GraphRAG 應用所需要的、更廣泛的文件圖譜檢索 (document-graph retrieval) 則尚未驗證。AGRAG 的 TF-IDF 抽取在實體密集的技術文本上表現良好——但它能否推廣到實體界線較不分明的對話式或敘事式語料庫，仍是一個開放問題。E²GraphRAG 的 SpaCy 管線繼承了 SpaCy 的 NER 限制——若不經微調 (fine-tuning)，它無法捕捉特定領域的實體。

And the GraphRAG-Bench finding — that graphs can significantly underperform vanilla RAG on simple factual questions — still applies. If your workload is mostly single-hop fact retrieval, the cheapest GraphRAG is no GraphRAG. Graphs earn their keep on multi-hop reasoning over structured, entity-rich corpora: legal codes, medical guidelines, technical documentation. The economics only work if the graph is pulling its weight.

而且 GraphRAG-Bench 的發現——圖在簡單的事實型問題上可能明顯不如原始的 RAG——仍然適用。如果你的工作負載大多是單跳 (single-hop) 的事實檢索，那麼最便宜的 GraphRAG 就是不用 GraphRAG。圖是在對結構化、實體豐富的語料庫（法律條文、醫療指引、技術文件）進行多跳推理時，才能賺回它的成本。唯有當圖確實發揮了它的作用時，這筆經濟帳才划算。

But the trajectory is clear. Eighteen months ago, GraphRAG meant six LLM-dependent stages and an API bill that scaled with your corpus. Today, each of those stages has at least one published alternative that removes or drastically reduces the LLM dependency. The integration work remains — someone needs to build the system that combines relation-free construction, GNN-guided retrieval, and distilled generation in a single pipeline. But the research is converging fast, and the economics are increasingly hard to ignore.

但趨勢很明確。十八個月前，GraphRAG 意味著六個依賴大型語言模型的階段，以及一筆隨你的語料庫規模而成長的 API 帳單。今天，這些階段中的每一個都至少有一個已發表的替代方案，能移除或大幅降低對大型語言模型的依賴。整合的工作仍然存在——需要有人來建構一個能把無關係 (relation-free) 的建構、GNN 引導的檢索、與蒸餾的生成結合在單一條管線中的系統。但研究正在快速收斂，而這筆經濟帳也愈來愈難以忽視。

The LLM Tax in GraphRAG isn’t dead. But its days of being 75% of the bill are numbered.

GraphRAG 中的大型語言模型稅還沒有消亡。但它佔據帳單 75% 的日子已經屈指可數。

The research discussed here is moving fast. If you’re building in this space, the repositories are worth watching:

這裡所討論的研究進展迅速。如果你正在這個領域中建構，這些程式碼倉庫值得關注：

The Five Papers:

這五篇論文：

  • AGRAG — TF-IDF entity extraction + MCMI subgraph retrieval (arXiv, Nov 2025)

  • AGRAG——TF-IDF 實體抽取 + MCMI 子圖檢索（arXiv，2025 年 11 月）

  • LinearRAG — Relation-free Tri-Graph (GitHub, ICLR 2026)

  • LinearRAG——無關係的三元圖（GitHub，ICLR 2026）

  • E²GraphRAG — SpaCy + summary tree + adaptive retrieval (GitHub, May 2025)

  • E²GraphRAG——SpaCy + 摘要樹 + 自適應檢索（GitHub，2025 年 5 月）

  • GNN-RAG — GNN-guided reasoning with 7B LLM (GitHub, ACL 2025)

  • GNN-RAG——以 7B 大型語言模型進行 GNN 引導的推理（GitHub，ACL 2025）

  • DRAG — Knowledge distillation for SLM-RAG (GitHub, ACL 2025)

  • DRAG——用於 SLM-RAG 的知識蒸餾（GitHub，ACL 2025）

Supporting Work:

支持性研究：

  • GraphRAG-Bench — When graphs help vs. hurt (arXiv, ICLR 2026)

  • GraphRAG-Bench——圖何時有幫助、何時有害（arXiv，ICLR 2026）

  • TERAG — Token-efficient graph construction (arXiv)

  • TERAG——詞元高效的圖譜建構（arXiv）

  • MiniRAG — RAG purpose-built for small models (GitHub)

  • MiniRAG——專為小模型打造的 RAG（GitHub）

  • Microsoft GraphRAG — The original “From Local to Global” (GitHub)

  • Microsoft GraphRAG——最初的「從局部到全域」（GitHub）

I’d love to hear about your graph-based workloads in the comments. Find me on LinkedIn.

我很樂意在留言區聽你聊聊你以圖為基礎的工作負載。也可以在 LinkedIn 上找到我。

🔤 關鍵術語

英文 繁中譯名 文章中的脈絡 / 簡短說明
GraphRAG 圖譜檢索增強生成 從文件建構知識圖譜並以結構（而非扁平向量）進行檢索的 RAG 架構；本文主題
LLM Tax LLM 稅 作者提出的概念，指在不一定需要 LLM 的管線階段仍使用 LLM 所累積的成本
Entity Extraction 實體抽取 從每個文字區塊中抽出命名實體，標準 GraphRAG 用 LLM 完成，約佔索引成本 25%
Relation Extraction 關係抽取 判斷實體對之間的關係（如「任職於」），LinearRAG 主張可完全省略
TF-IDF 詞頻—逆文件頻率 AGRAG 以統計分數取代 LLM 抽取實體：在特定區塊高頻、跨語料低頻者即為實體
Minimum Cost Maximum Influence subgraph 最小成本最大影響力子圖 AGRAG 將檢索建模為此子圖問題，以最低邊成本捕捉最多查詢相關節點
Tri-Graph 三元圖 LinearRAG 用實體、句子、段落三種節點，僅以包含與共現關係相連、無邊標籤
Personalized PageRank 個人化 PageRank LinearRAG 在圖結構中傳播相關性分數的演算法
Multi-hop reasoning 多跳推理 跨多個節點/段落串接才能得到答案的推理；圖譜真正發揮價值之處
Named Entity Recognition (NER) 命名實體辨識 E²GraphRAG 改用 SpaCy 的 NER 模型做確定性、可重現的實體辨識
Co-occurrence 共現 以「同句出現」定義實體間關係，取代 LLM 關係抽取
Summary Tree 摘要樹 E²GraphRAG 將區塊遞迴合併摘要成階層，供全域查詢做語料層級綜合
Adaptive Retrieval 自適應檢索 依查詢實體在圖中的分布，自動於 local 與 global 模式間切換
GNN (Graph Neural Network) 圖神經網路 GNN-RAG 用其訊息傳遞在單次前向傳遞中捕捉多跳關係，取代 LLM 圖推理
Message Passing 訊息傳遞 GNN 的核心機制，原生捕捉節點間多跳關係
Think-on-Graph (ToG) 圖上思考 用 LLM 逐步推理圖遍歷的方法，搭配 GPT-4 每次基準測試耗費 $800+
Knowledge Distillation 知識蒸餾 DRAG 讓大模型在訓練時教會小模型做圖增強 RAG，推論時小模型獨立運作
SLM (Small Language Model) 小型語言模型 DRAG 的學生模型（Gemma-2B 至 Llama-3.1-8B），蒸餾後本地執行、零 API 成本
Answer F1 答案 F1 分數 評估 QA 答案的指標，GNN-RAG 在多跳問題上領先 LLM 檢索 8.9–15.5 個百分點
Vanilla RAG 原生/向量 RAG 不建圖的基本 RAG；GraphRAG-Bench 發現在單跳事實問題上常勝過 GraphRAG
Graph Traversal 圖遍歷 在已建好的圖上走訪節點以檢索證據的階段