词汇增长曲线分析

把语料按词序逐段累计,记录读到多少词时累计出现了多少个不同的词,用 Heaps' Law(词表随文本变长而增长的规律)拟合出曲线 V = K · Nβ。其中 β 是用词开放度:越高说明还在不断冒出新词,越低说明用词收敛在一套固定词表里。

同时把词按出现次数降序排开,在双对数坐标下拟合 Zipf(词频随排名递减的规律)分布,得到陡峭度 s,s 越大说明少数高频词越占主导。两项拟合都附 R²(拟合优度,数据贴合这条曲线的程度),β 与 s 各配一句参照常见语料区间的定性说明。

可按词或按字切分,可调增长曲线的采样步长和参与 Zipf 拟合的高频词数量;多份文件默认各拟合一条,也可合并成整体一条。停用词与词性过滤只用于筛选高频词清单,不参与两项拟合,以保证拟合结果之间可比。

加载文件上传组件中...

自动模式按文中中英文字符占比判断;混排建议手动指定。

仅用于过滤报告里的 Top 高频词展示,不影响 Heaps(新词随文本变长增加的规律)曲线、β、Zipf(词频随排名递减的规律)指数 s、R² 等拟合结果。

已识别 0 / 500 个词

系统停用词与自定义停用词会取并集。

主流计量语言学默认

分词工具碰到不认识的新词常会拆开,比如把“乡村振兴”拆成“乡村”和“振兴”。打开后,会先把你文本里的这类词找出来加进词典,分词时就不容易拆散了。仅支持中文文本。每 10,000 字 5 点。

每 100 token 记一次

步长越小曲线越精细但点越多;字符数为万级的语料用 100 即可,字符数为十万级的语料建议 500。

5000 个

只用前 N 个高频词做 log-log(横纵坐标都取对数)拟合,避免长尾低频词的统计噪声拉低 R²。

每 10,000 个字符 2 点

词汇增长曲线分析常见问题

词汇增长曲线分析适合处理什么材料?
中文文本材料,例如新闻报道、政策文件、访谈记录、评论和文学作品,上传文本文件后即可分析。
词汇增长曲线分析会得到什么结果?
按累计词数拟合词汇增长曲线与词频分布,给出用词开放度 β、分布陡峭度 s 和拟合优度 R²。
词汇增长曲线分析怎么用?
上传材料、确认设置、点提交,任务完成后在工作台打开报告。不用安装软件,也不用写代码。详细步骤见教程《词汇增长曲线分析完整教程:从 Heaps 定律的 β 到 Zipf 分布的 s,再到双对数拟合与 R²》。
词汇增长曲线分析怎么计费?
按文字量计费,每满 10000 字 2 点,不足 10000 字按 2 点算。提交前页面会显示本次消耗。
结果可以写进论文吗?
可以。报告里的数字和图表附有统计口径与原文出处,末尾有方法说明,涉及统计模型的报告还列出参考文献,可以作为论文附件或方法依据。

在论文里引用词汇增长曲线分析: 查看引用格式

同类工具

  • Mia通用快速情感判断逐条判断中文短文本是夸、是骂还是说不上夸骂,并统计整批比例。
  • 高级情感分析逐条判定情感倾向,给出摘自原文的证据词和整句判定逻辑,并归纳消极文本的主要原因。
  • AIGC内容检测排查中文材料的 AIGC 写作痕迹,逐段逐句给出风险值、主要原因和修改方向。
  • AI味写作痕迹检测查找中文文本里常见于大模型写作的句式与标点习惯,给出 0–100 的 AI 写作痕迹指数。
  • 知识图谱从材料中抽取实体与关系生成知识图谱,合并同义说法,并归出主题群与一份提纲。
  • 停用词挖掘按词在各段落的分布挖出本领域特有的高频低信息词,给出可直接取用的停用词候选表。