用语义向量两两比较材料里的每条文本,找出意思相近的文本对,并把相互相似的文本归成一组,给出每组的条数、组内平均相似度、最具代表性的一条原文和高频词,以及重复文本占全部文本的比例。多份材料一起分析时,会标出同一组内容分散在几个文件里。判断依据是意思是否相近,用词不同也可能判为重复。
两种模式:近似复制与合并找高度相似、可直接合并的文本对;同义改写嫌疑找语义仍接近但用词差别明显的文本对,按语义相似度与字面差异度给出改写嫌疑分,并逐词标出两条文本改动在哪里。判定重复的相似度阈值、成组所需的最小条数都可以自己设定。
