文本相似度去重雷达

用语义向量两两比较材料里的每条文本,找出意思相近的文本对,并把相互相似的文本归成一组,给出每组的条数、组内平均相似度、最具代表性的一条原文和高频词,以及重复文本占全部文本的比例。多份材料一起分析时,会标出同一组内容分散在几个文件里。判断依据是意思是否相近,用词不同也可能判为重复。

两种模式:近似复制与合并找高度相似、可直接合并的文本对;同义改写嫌疑找语义仍接近但用词差别明显的文本对,按语义相似度与字面差异度给出改写嫌疑分,并逐词标出两条文本改动在哪里。判定重复的相似度阈值、成组所需的最小条数都可以自己设定。

两种模式共用同一套语义向量与场景预设;仅筛选区间与列表解读不同,计费一致。

找高度相似、适合去重合并的句子对;阈值通常 0.8+。

加载文件上传组件中...
180 个字符

根据文本来源选择预设,系统会自动调整分词、停用词和相似度置信区间。

适用于问卷开放题、用户评价,强化短句语义聚合能力。

82%

推荐:调研反馈 0.8,政策/公文 0.85。

3条

控制去重雷达中的最小聚类粒度,建议≥3以获得稳定的模式。

中文和双语材料通用,适合批量相似句段查找与重复合并。

兼顾召回与准确度,自动调节不同文档长度的影响。

输入多个关键词用顿号或逗号分隔,将在雷达图中单独标注。

查看词典

每 10,000 个字符 5 点

文本相似度去重雷达常见问题

用词不同也能判为重复吗?
能。判断依据是意思是否相近,用词不同也可能判为重复。
两种模式怎么选?
近似复制与合并找高度相似、可直接合并的文本对;同义改写嫌疑找语义接近但用词差别明显的文本对,并逐词标出改动在哪里。
相似度阈值能调吗?
判定重复的相似度阈值和成组所需的最小条数都可以自己设定。
文本相似度去重雷达怎么用?
不用安装软件,也不用写代码。
文本相似度去重雷达怎么计费?
按文字量计费,每满 10000 字 5 点,不足 10000 字按 5 点算。提交前页面会显示本次消耗。
结果可以写进论文吗?
可以。报告里的数字和图表附有统计口径与原文出处,末尾有方法说明,涉及统计模型的报告还列出参考文献,可以作为论文附件或方法依据。
相关工具
  • 文本质量评估器统计文本的规模、句长、词汇丰富度与重复率,给出 0~100 分,并判断能否用于聚类、主题模型等分析。
  • 信息价值评估逐段计算信息熵、词汇密度等指标并合成综合得分,分出高价值与低价值段落。
  • Mia通用快速情感判断用 TATOOLS 自研开源的 Mia 判断每条短文本是积极、消极还是中性,又快又准,花费低。
  • Mia多维情绪判断在积极、消极、中性之外,给每条短文本打出效价、唤醒度、支配度,并分出主导情绪。
  • 隐含情感识别认出评论里的阴阳怪气、反讽和捧杀,挖出字面背后真正的情绪。
  • DeepSentiV2深度学习情感分析一次筛完一份材料的积极、消极和中性,并列出情感关键词和热门榜单。