博客

产品背后的技术思考：RAG、文档解析和知识库工程实践。

知识库不止能问答，还能按流程自动跑

新文档进库自动归类、定时汇总、Webhook 触发通知——有谷工作流用 FlowExecutor 编排 action 与 tool，支持延迟、审批和断点续跑。

「Redis 持久化配置」向量能命中，「第 3.2.1 节」却漏了。有谷默认 mix/hybrid：语义召回 + 关键词/图谱互补，可选 rerank 精排。

财务把一个月的单据扫成一个 PDF，里面有发票、合同、身份证复印件和空白页。有谷逐页判断类型和边界，把它拆成带页码区间的逻辑子文档，再按类型路由到对应的结构化抽取方案。

有谷不是让模型自己编脚注。检索工具返回 citation_sources，模型用 [citation:N] 标注，UI 把 kb: 链打开阅读器——证据不足就明说，不编造。

大文件、弱网、刷新页面——一次上传必然翻车。有谷用 5MB 分片、Redis 记进度、MinIO 服务端合并，支持断点续传和多副本共享状态。

网页问答用 AG-UI，外部 Agent 用 MCP。有谷企业版提供 MCP Server，让 Cursor、Claude Desktop 等工具直接检索指定知识库并返回带引用的 chunk。

入库跑在 Celery Worker 里，API 进程和前端不在同一进程。有谷用 DB 存权威进度、Redis Stream 跨进程广播、SSE 推给浏览器，断线还能按 seq 补发。

译文比原文长、链接不能断、代码不能翻、第 286 页失败不能整本重跑。有谷可译用稳定 blockId 和占位符保护，把双语写回 HTML、PDF 和 EPUB。

很多工具抓到的 Markdown 里混着导流语、相关阅读和 TOC。有谷用浏览器真渲染、站点规则抽取和块级清洗，把干净正文送进 RAG。

「召回率」「混合检索」「reranker」反复出现，读者想点词看解释。有谷用 Mention → Concept → Definition 三层模型，离线抽取、在线 Popover，解释可审计、可复用。