Blog

Technical thinking behind the product: RAG, document parsing, and knowledge base engineering.

用 MCP 把有谷知识库接到 Cursor 里

网页问答用 AG-UI，外部 Agent 用 MCP。有谷企业版提供 MCP Server，让 Cursor、Claude Desktop 等工具直接检索指定知识库并返回带引用的 chunk。

入库跑在 Celery Worker 里，API 进程和前端不在同一进程。有谷用 DB 存权威进度、Redis Stream 跨进程广播、SSE 推给浏览器，断线还能按 seq 补发。

译文比原文长、链接不能断、代码不能翻、第 286 页失败不能整本重跑。有谷可译用稳定 blockId 和占位符保护，把双语写回 HTML、PDF 和 EPUB。

很多工具抓到的 Markdown 里混着导流语、相关阅读和 TOC。有谷用浏览器真渲染、站点规则抽取和块级清洗，把干净正文送进 RAG。

「召回率」「混合检索」「reranker」反复出现，读者想点词看解释。有谷用 Mention → Concept → Definition 三层模型，离线抽取、在线 Popover，解释可审计、可复用。

一次性塞进 DOM 会爆内存。有谷阅读器把 HTML 分块、视口懒加载，用虚拟未划线 DOM 钉住高亮位置——划线再多也不漂移。

Agent 问答不是「发请求等 JSON」——要流式 token、工具调用可见、状态同步、引用可点。有谷大脑用 AG-UI 协议把 Deep Agent 和前端接在一起。

按 1500 字符切一刀，会把 this.db = db 切成 thi 和 s.db。有谷大脑用 tree-sitter 做 AST 感知切分，只在语法边界下刀，每块带上作用域和依赖上下文。

OCR 之前少做一步，后面 chunk 和检索都会错。有谷大脑用轻量版面检测把页面拆成标题、正文、表格、图片等区域，框准边界再 OCR——这是扫描件和复杂排版 PDF 能答对的前提。

按行读 Excel 只能拿到值，结构、公式和边界全丢了。有谷大脑用六段确定性流水线——空行切块、反差认表头、可引用渲染——让模型能说「据 Q4!B6」，而不是「据我看到的表格」。