在设定的窗口内(左右各 2~15 个词)找出反复一起出现的词,可以看两个词一组,也可以看三个词或四个词一组。每组搭配同时给出三项判断:互信息看这种同现比随机碰上高出多少,T 值看搭配是否稳定到不像偶然,对数似然比看证据有多强,三项一起看比只数出现次数可靠。
还会记录两个词谁在前、谁在后,避免把顺序相反的两种搭配混成一个。可按词性只保留需要的词类,也可加载自定义词典和停用词表。多份材料一起分析时,同一组搭配在各篇里的强度可以横向比较。
在设定的窗口内(左右各 2~15 个词)找出反复一起出现的词,可以看两个词一组,也可以看三个词或四个词一组。每组搭配同时给出三项判断:互信息看这种同现比随机碰上高出多少,T 值看搭配是否稳定到不像偶然,对数似然比看证据有多强,三项一起看比只数出现次数可靠。
还会记录两个词谁在前、谁在后,避免把顺序相反的两种搭配混成一个。可按词性只保留需要的词类,也可加载自定义词典和停用词表。多份材料一起分析时,同一组搭配在各篇里的强度可以横向比较。
报告里的【疑似切词提示】现在由 Mia 来认。Mia 是 TATOOLS 自己训练的中文模型,专门学过怎么认词,【乡村振兴】被切成【乡村】和【振兴】这类情况,它比原来用的通用大模型认得准得多。
窗口越大,捕捉的共现范围越广,但噪声也会增加。默认 5 适合多数中文书面语料。
每 10,000 个字符 2 点