词汇增长曲线分析
把语料按词序逐段累计,记录读到多少词时累计出现了多少个不同的词,用 Heaps' Law(词表随文本变长而增长的规律)拟合出曲线 V = K · Nβ。其中 β 是用词开放度:越高说明还在不断冒出新词,越低说明用词收敛在一套固定词表里。
同时把词按出现次数降序排开,在双对数坐标下拟合 Zipf(词频随排名递减的规律)分布,得到陡峭度 s,s 越大说明少数高频词越占主导。两项拟合都附 R²(拟合优度,数据贴合这条曲线的程度),β 与 s 各配一句参照常见语料区间的定性说明。
可按词或按字切分,可调增长曲线的采样步长和参与 Zipf 拟合的高频词数量;多份文件默认各拟合一条,也可合并成整体一条。停用词与词性过滤只用于筛选高频词清单,不参与两项拟合,以保证拟合结果之间可比。
加载文件上传组件中...
自动模式按文中中英文字符占比判断;混排建议手动指定。
仅用于过滤报告里的 Top 高频词展示,不影响 Heaps(新词随文本变长增加的规律)曲线、β、Zipf(词频随排名递减的规律)指数 s、R² 等拟合结果。
已识别 0 / 500 个词
系统停用词与自定义停用词会取并集。
主流计量语言学默认
分词工具碰到不认识的新词常会拆开,比如把“乡村振兴”拆成“乡村”和“振兴”。打开后,会先把你文本里的这类词找出来加进词典,分词时就不容易拆散了。仅支持中文文本。每 10,000 字 5 点。
每 100 token 记一次
步长越小曲线越精细但点越多;字符数为万级的语料用 100 即可,字符数为十万级的语料建议 500。
5000 个
只用前 N 个高频词做 log-log(横纵坐标都取对数)拟合,避免长尾低频词的统计噪声拉低 R²。
每 10,000 个字符 2 点
词汇增长曲线分析常见问题
- 词汇增长曲线分析适合处理什么材料?
- 中文文本材料,例如新闻报道、政策文件、访谈记录、评论和文学作品,上传文本文件后即可分析。
- 词汇增长曲线分析会得到什么结果?
- 按累计词数拟合词汇增长曲线与词频分布,给出用词开放度 β、分布陡峭度 s 和拟合优度 R²。
- 词汇增长曲线分析怎么用?
- 上传材料、确认设置、点提交,任务完成后在工作台打开报告。不用安装软件,也不用写代码。详细步骤见教程《词汇增长曲线分析完整教程:从 Heaps 定律的 β 到 Zipf 分布的 s,再到双对数拟合与 R²》。
- 词汇增长曲线分析怎么计费?
- 按文字量计费,每满 10000 字 2 点,不足 10000 字按 2 点算。提交前页面会显示本次消耗。
- 结果可以写进论文吗?
- 可以。报告里的数字和图表附有统计口径与原文出处,末尾有方法说明,涉及统计模型的报告还列出参考文献,可以作为论文附件或方法依据。
在论文里引用词汇增长曲线分析: 查看引用格式
