把材料切成一个个文档段,分词后统计每个词在每段出现多少次,构成文档—词条矩阵(行是文档段、列是词、格子里是出现次数),再用 TF-IDF(衡量一个词在某段频繁、在其他段落少见的程度)加权,挑出 10 到 50 个最有区分度的词。
挑出的词给出总出现次数、出现在多少个文档段、覆盖率和重要度,并统计任意两个词在同一段一起出现的次数,每一对都附上出现它们的原文段落,可回原文核对这种关联是否成立。可以指定重点关注词,让它们即使频次不高也保留;也可以加载自定义词典和停用词表,或把同一概念的不同写法合并成一种再计数。
