语料检索完整教程：从检索单元与 BM25 打分，到语义重排与分数融合，再到结果的核对与引用

手里有三十份乡村调研的访谈稿，每份几万字，想找出所有谈到农民收入变化的段落。用查找功能搜增收，只能找到字面上带这个词的地方，谈钱袋子鼓了、日子比以前宽裕的段落都漏掉了；一份份从头读，又要花上好几天。

语料检索做的是另一件事。它把上传的一批文档当作一个小型语料库，切成一个个可以单独返回的片段，对每条查询给每个片段打一个相关度分数，按分数从高到低返回最贴题的几条，并在原文里高亮命中的词。信息检索领域几十年来的做法是两步走，先用快速的关键词打分从全部片段里捞出一批候选，再用更细的语义模型给候选重新排序。

在 TATOOLS 的【语料检索】里【上传文档】，写下一条或几条查询。TATOOLS 先按 BM25 给片段打分召回候选，再让语义重排模型逐条判断候选与查询的贴合程度，两路分数按设定的权重合成最终相关度，每条查询各自返回一份结果。

这篇教程先讲检索单元怎样切，再用一个小例子手算 BM25 和两路分数的融合，讲清各项设置改变什么，最后讲报告的读法和论文里的写法。

检索返回的是一个个片段，片段有多大，决定了结果读起来是什么样子。整篇文档作单元，返回的是哪份材料最相关，要自己再去找具体位置；句子作单元，定位最准，但一句话脱离上下文常常看不懂；段落介于两者之间，多数质性研究按段落检索。

TATOOLS 的【检索粒度】默认【自动分段】，对每份文档分别判断。很短的文档整篇作一个单元；段落分明、段落长度适中的文档按段落切；其余按句子切。一段话太长时，TATOOLS 再把它切成几块，块与块之间留一点重叠，避免一句话被从中间截断后两边都找不到。

报告的【资料文件清单】写明每份文件切成了多少个片段、共多少字符，【检索概览】给出全部可检索片段的数目和平均长度。

BM25 是 Robertson 等人在 Okapi 检索系统里发展出来的打分公式，至今仍是关键词检索的通行基线。它给一个片段打分时看三件事，查询词在片段里出现了几次，这个词在整批资料里罕见不罕见，片段本身有多长。

IDF 叫逆文档频率，由 Spärck Jones 1972 年提出，越少片段用到的词，IDF 越高，命中它越说明问题。词频部分有上限，同一个词在一段里重复十次，得分也不会是出现一次的十倍。篇幅部分让长段落略微吃亏，长段落本来就更容易碰巧包含查询词。

手算一个例子。一共 10 个片段，查询是农民增收，分词后是农民和增收两个词。增收只在 1 个片段里出现，农民在 3 个片段里出现。

片段 A 同时命中两个词，而且命中了罕见的增收，分数最高；片段 B 和 C 都只提到一次农民，C 更长，分数更低。

TATOOLS 对查询和资料用同一套办法分词，再按 BM25 给全部片段打分。【使用系统停用词】默认打开，的和是这类词不参与打分；【词形合并】把同一个词的几种写法并成一个，资料里写 AI、查询里写人工智能，也能互相命中。

BM25 只认字面。查询是农民增收，一段谈农民的钱袋子越来越鼓的话，只命中农民一个词，分数不会高；一段恰好把农民和增收都列在一串政策名称里的话，分数反而很高。

Nogueira 和 Cho 2019 年把预训练语言模型用在检索的第二步，先用 BM25 召回候选，再让模型把查询和每个候选放在一起读，判断它们意思上贴不贴，重新排序，检索效果大幅提升。这种先召回、再重排的两步做法，后来成了语义检索的常见架构。

TATOOLS 的做法是同样的两步。每条查询先按 BM25 取出一批得分最高的片段作为候选，候选的数目等于【每条查询返回多少条结果】乘以【候选放大倍数】，默认 10 条乘以 5 倍，也就是 50 个候选。进入候选的片段至少含有查询里的一个词。语义重排模型给每个候选打一个语义分数，最后在候选里选出前 10 条。

候选放大倍数越大，只含一两个查询词、但意思很贴的片段越有机会进入候选，代价是多花一点时间。一次提交的多条查询，重排请求会一起送出，每条查询的结果互不影响。

BM25 分数和语义分数的单位不同，不能直接相加。TATOOLS 先在每条查询的候选里把两路分数各自做最小最大归一化，最高的记 1，最低的记 0，再按【语义权重】加权。

接着上面的例子，假设 A、B、C 三个候选的语义分数分别是 0.20、0.90、0.60。

语义权重调高，意思更贴的 B 排到前面；调低，字面命中更多的 A 排到前面。常用的取值在 0.5 到 0.7 之间。

归一化是在每条查询自己的候选里做的，每条查询的最高分都接近 1，相关度只用来排同一条查询内部的先后。两条查询找到的内容哪条更贴题，要回到原文去比。

TATOOLS 下载的结果表里，每条结果同时列出 BM25 评分、语义重排评分和融合评分，三个分数都能核对。

一行写一条查询，可以一次写很多条，每条独立检索、独立返回结果。查询可以是几个关键词，也可以是一句完整的话，比如乡村振兴战略的实施路径。查询和资料用同一套分词、停用词和词形合并设置，分词后查询里的每个词都参与 BM25 打分，整句话交给语义重排判断意思。

几种写法各有用处。

还没想好查什么，可以打开【自动查询关键词】，TATOOLS 取资料里出现最多的前 10 个词各当一条查询，先看看资料里谈得最多的几件事都落在哪些段落。

资料里有分词词典不认识的专门说法，打开【自动补充词典】，TATOOLS 先从资料里找出这类新词加进词典，查询和资料按同一份词典分词。【文本语言】默认自动检测。

检索结果是找到材料的起点，引用之前都要回到原文读一遍。TATOOLS 给每条结果标出来自哪份文件的第几个片段，在原文里把命中的查询词高亮出来，并列出这条结果命中了哪些词。

【原文片段预览长度】决定高亮位置左右各保留多少个字符，默认 60 个；关掉【在结果中显示带高亮的原文片段】时，结果只列出片段开头的一段文字。

一条结果命中的词少、相关度却很高，多半是语义重排认为它意思贴切，这类结果最值得细读，它们往往是关键词检索会漏掉的说法。

TATOOLS 的【切词模式】【使用词性过滤】和【自动补充词典】在分词设置里，一般保持默认即可。

查询命中率是找到了内容的查询占全部查询的比例；资料覆盖率是至少被命中一次的文件占全部文件的比例。【查询结果】左边列出全部查询，点一条，右边显示它的结果和相关度分布，分布图前几根柱子明显高出其余的，说明最贴题的内容集中在前几条。

报告页面每条查询展示最前面的几条结果，TATOOLS 下载的结果表里是每条查询的全部结果，每条结果附文件名和片段位置，列出三项分数和命中词，还有片段预览，可以直接拿来整理引文。

下面是一段质性研究里常见的写法示例，方括号里换成自己的内容。

论文里写明查询的具体内容、检索单位、返回条数和语义权重，再说明人工确认的标准，检索这一步就可以复核。

想比较一批资料和另一批资料在用词上的差别，可以用 TATOOLS 的【语料对比关键词分析】；想把资料按内容自动归成几类，用【高级文本聚类】；想抽出资料里的专门术语，用【领域术语抽取】。