这篇文章 Blockify 改写企业 RAG：用 IdeaBlock 取代 chunking、压缩 40 倍、token 减 3 倍 最早呈此刻 链新闻 ABMedia， 。

企业 AI 数据优化新工具 Blockify 5 月 9 日由 akshay_pachaar 整理推广、宣称在 RAG（Retrieval-Augmented Generation）流程中、可把企业数据库压缩 40 倍、查询 token 用量减 3 倍、向量搜索准确率提升 2.3 倍，开发者可在现有 LlamaIndex 或 LangChain 流程中、用 Blockify 替换原本的 chunking 步调，其余流程稳定， 核心概念：用 IdeaBlock 取代传统 chunking Blockify 的技术设计： 传统做法：把长文件切成固定大小的 chunk、嵌入向量、检索时取 top-k Blockify 做法：把原始内容转换为 IdeaBlock—XML 布局化常识单元 每个 IdeaBlock 内含：自带问题、可信答案、tag、实体、关键词 相似 IdeaBlock 自动去重合并、常识库不会随内容增长膨胀 传统 chunking 的问题是同一信息可能在多个 chunk 中重复呈现、造成检索冗余与 token 浪费；IdeaBlock 通过去重把信息密度提升、同样内容用更小的存储空间表达，Blockify 官方 GitHub 说明：产物由 Iternal Technologies 推出、用「IdeaBlock」布局化常识单元取代传统 chunking、并通过去重合并让常识库保持精简、连贯、可治理， 整合范围：LlamaIndex、LangChain、Milvus、Cloudflare 等主流框架 Blockify 已整合的开发者工具与基础设施： RAG 框架：LlamaIndex、LangChain 常识打点：Obsidian 向量数据库：Milvus、Elastic、Supabase 边沿运算：Cloudflare 低代码整合：n8n（通过工作流程模板） Blockify 的整合计谋是「不取代既有 RAG 框架、而是作为前置数据优化层」，波宝， 后续可追踪的具体事件：Blockify GitHub 星数增长与社群接纳率、Iternal Technologies 是否就 IdeaBlock 布局申请或披露技术细节（目前标榜「patented ingestion」）、以及主流 RAG 框架是否将类似去重逻辑内建为默认功能， 具体效益：压缩 40 倍、token 减 3 倍、准确率升 2.3 倍 Blockify 公布的具体效益指标： 数据压缩：企业数据库缩减至原大小约 2.5%（40 倍压缩）、保存 99% 以上信息 每次查询 token：从约 303 个（传统 chunk）降至约 98 个（IdeaBlock）—3.09 倍效率 向量检索准确率：提升 2.29 倍 整体准确率改善：约 78 倍（含去重与检索改进综合效应） 本钱节省试算：1 亿次查询／年、节省 token 本钱约 73.8 万美元 78 倍的整体准确率提升是综合效应—去重减少噪音、IdeaBlock 布局化内容对向量检索友善、单次回答 token 数下降同时减少模型堕落空间，。