语料检索
把上传的一批文档当作语料库,对每条查询找出最贴题的内容,按相关度排序返回前若干条,并在原文片段里高亮命中的词。检索单位可以是整篇、段落或句子,也可以交给程序按文档长度和段落结构自动决定。
每条查询先用 BM25(按查询词在片段里出现得多不多、在整批语料里罕不罕见来打分的检索算法)召回一批候选,再按语义与查询的贴合程度对候选重新排序,两路分数加权合成最终相关度,因此字面没出现查询词、但意思接近的内容也可能被选出来。可以一次提交多条查询,每条独立给出结果;也可以不写查询,让程序取语料里的高频词当查询。返回条数、片段预览长度、语义排序所占权重、候选放大倍数都可以自己设定,也可按词性筛选、过滤停用词、加载自定义词典或把同一个词的不同写法合并后再检索。
支持一篇或多篇 txt 文本文件。
默认手动输入查询;开启自动查询关键词后,会用语料里的高频词前 10 名自动检索。
已识别 0 条查询。
分词工具碰到不认识的新词常会拆开,比如把“乡村振兴”拆成“乡村”和“振兴”。打开后,会先把你文本里的这类词找出来加进词典,分词时就不容易拆散了。仅支持中文文本。每 10,000 字 5 点。
停用词会从自动查询关键词、召回分词和结果高亮中排除。
默认;按文档长度和段落结构选择整篇、段落或句子,也可手动指定
固定使用 Reranker(按语义重新排序)深度语义检索:先召回候选片段,再通过语义重排找出最贴题内容。
建议 5–20 条;放太多会混进相关度较低的边缘片段。
命中位置左右各保留多少个字符作为带高亮的预览。
往左偏:保留更多候选召回的排序影响;往右偏:更看重意思接近。常用 0.5–0.7。
先快速捞出 Top-K(排名前 K 个)× N 个候选,再做语义精排。倍数越大越不容易漏,但稍慢。
每 10,000 个字符 2 点
语料检索常见问题
- 语料检索适合处理什么材料?
- 中文文本材料,例如新闻报道、政策文件、访谈记录、评论和文学作品,上传文本文件后即可分析。
- 语料检索会得到什么结果?
- 在一批文档里按查询找出最相关的整篇、段落或句子,关键词与语义两路打分,并高亮命中原文。
- 语料检索怎么用?
- 上传材料、确认设置、点提交,任务完成后在工作台打开报告。不用安装软件,也不用写代码。详细步骤见教程《语料检索完整教程:从检索单元与 BM25 打分,到语义重排与分数融合,再到结果的核对与引用》。
- 语料检索怎么计费?
- 按文字量计费,每满 10000 字 2 点,不足 10000 字按 2 点算。提交前页面会显示本次消耗。
- 结果可以写进论文吗?
- 可以。报告里的数字和图表附有统计口径与原文出处,末尾有方法说明,涉及统计模型的报告还列出参考文献,可以作为论文附件或方法依据。
在论文里引用语料检索: 查看引用格式
