把文本按固定词数切成前后重叠的片段,每个片段作为一个样本,以词语的 TF-IDF(本文常用、别处少用的程度)取值作为变量,做 PCA(主成分分析,把大量相关变量压缩成少数互不重叠的方向)。
输出每个主成分解释的方差比例、各词语在主成分上的载荷、每个片段的主成分得分与关键词,并按载荷正负两端的词给每个主成分拟一个可读名称,用来判断片段之间的差异主要由哪些词拉开。
把文本按固定词数切成前后重叠的片段,每个片段作为一个样本,以词语的 TF-IDF(本文常用、别处少用的程度)取值作为变量,做 PCA(主成分分析,把大量相关变量压缩成少数互不重叠的方向)。
输出每个主成分解释的方差比例、各词语在主成分上的载荷、每个片段的主成分得分与关键词,并按载荷正负两端的词给每个主成分拟一个可读名称,用来判断片段之间的差异主要由哪些词拉开。
领域术语被切碎、虚词过多或常见词占据载荷图时,可填写自定义词典/停用词后重新分析。
每 10,000 个字符 2 点