停用词挖掘
从同一领域的语料里挖出该领域特有的高频套话与背景词，补上通用停用词表盖不到的部分。原文不做改动，产出的是一份待你审阅的候选词表。
以段落作为分布比较单位，统计每个词在各段的出现情况，同时计算 Gries DP（词在各段分布的均匀程度）和信息含量两项指标，各自排名后轮流取词合成同一份候选池。中文按词分析会再结合词性、该词在通用语料中的常见程度和它在原文里的实际语境，把功能词、程序性套语和具体实词区分开，逐词判定收录、排除或送复核。候选词表附频次、分布范围、两项分值和判定理由，并同时给出可直接取用的停用词表。
每个有效段落是一条观测。词语至少出现在两个段落中才会进入候选池；整篇只有一段时不会产生候选。请按研究中的比较单位整理分段，长段落可使用自动分段。
结果是待审阅的词表，不会删除原文。是否保留否定词、领域术语等分析对象，需要结合研究目的决定。
使用范围一致的语料，段落作为分布比较单位。更改段落划分后，两次分值不宜直接比较。
TATOOLS 在 Gries DP（词在各部分分布的均匀程度）与信息熵法的基础上，针对中文做了大幅专项优化。 中文按词分析结合分词与词性、通用词常见度、内置停用词表和原文语境，区分功能词、公文套语与具体实词，不只凭分布分数筛选。
两种分布指标始终同时计算，排序轮流取词、去重后进入同一候选池，中文按词的后续筛选只处理这份统一词池。 报告用同一词表和两张散点图展示结果，无需选择方法；按字和英文按词不执行中文词级筛选。
中文按词会使用词性、通用常见度与语境筛选；按字只统计汉字分布，并合并不同词中相同汉字的出现次数。英文材料请使用按词，单个英文字母会被过滤。
信息含量是段落大小分布熵与词语分布熵之差，负值记为零。 此值只设置散点图参考线，不改变候选词的筛选结果。
DP（词在各部分分布的均匀程度）越接近零，词语在各段的出现比例越贴近段落大小比例。 此值只设置散点图参考线，不是候选入选门槛。
总频次低于此值的词不进入候选池；只出现在一个有效段落中的词也不会进入。
对超过 450 个字符的文本段落，按约 400 个字符、优先标点的位置重新切分；较短段落保持不变。 表格单元格不重新切分。自动分段改变比较单位，不增加独立材料来源。
已经确认的停用词。填写后它们与系统停用词一起视为已知停用词，报告会把它们和新挖出的候选区分开。
每 10,000 个字符 5 点
停用词挖掘常见问题
- 停用词挖掘适合处理什么材料？
- 中文文本材料，例如新闻报道、政策文件、访谈记录、评论和文学作品，上传文本文件后即可分析。
- 停用词挖掘会得到什么结果？
- 按词在各段落的分布挖出本领域特有的高频低信息词，给出可直接取用的停用词候选表。
- 停用词挖掘怎么用？
- 上传材料、确认设置、点提交，任务完成后在工作台打开报告。不用安装软件，也不用写代码。详细步骤见教程《停用词挖掘教程：中文专项优化与双指标筛选》。
- 停用词挖掘怎么计费？
- 按文字量计费，每满 10000 字 5 点，不足 10000 字按 5 点算。提交前页面会显示本次消耗。
- 结果可以写进论文吗？
- 可以。报告里的数字和图表附有统计口径与原文出处，末尾有方法说明，涉及统计模型的报告还列出参考文献，可以作为论文附件或方法依据。
在论文里引用停用词挖掘： 查看引用格式