04 中文检索的坑：无分词怎么办

第 4 / 13 章 · 星球专属

第四篇讲检索的第一个硬伤：中文没有天然分词边界。这个问题不解决，关键词检索就是瞎子摸象。问题本质英文天然有空格分词，和不会混。中文没有：「外包人员生产数据库访问权限」这句话，到底要切出哪些词？如果切错了，BM25 关键词检索直接废一

第 4 章为知识星球专属内容

《企业级 Agent 平台实战》共 13 章，前 2 章可免费阅读，加入知识星球即可解锁全部章节（含后续更新），并附带完整源码、答疑与配套资料。

加入星球后使用置顶帖里的兑换码，在本站激活即可阅读全部章节

已加入星球、还没激活？输入兑换码激活会员 →