词汇多样性分析

统计文本用词的丰富与重复程度,一次算出九项通行指标:TTR(不同词占总词数的比例)、MATTR(滑动窗口内 TTR 的平均)、MSTTR(等长分段 TTR 的平均)、MTLD(用词不重复能延续多长)、HD-D 和 vocd-D(抽样与曲线拟合估算的丰富度)、Yule's K 和 Yule's I(词频集中在少数词还是分散开)、Maas a²(受文本长短影响较小的丰富度,数值越小越多样)。

指标之外还沿文本位置输出一条 MATTR 曲线,看用词重复是从哪一段开始变多;多份材料一起分析时,把各篇按九项指标放到同一标准下对照,并两两比较哪几份的丰富度最接近。TTR 受文本长度影响很大,长短悬殊的材料不宜直接比。切词还是切字、是否先去掉停用词、MATTR 滑窗与 MSTTR 分段的大小都可以自己设定,口径不同数值也会不同。

加载文件上传组件中...

系统会一次性算出全部 9 项词汇丰富度指标,无需选择。简单理解:这些数字都在回答同一个问题—— 【这段文字用词到底有多丰富、有多不重复】,只是从不同角度(用词比例、滑动窗口、词频分布等)去衡量; 数字越大通常表示用词越多样(Maas(受文本长短影响较小的丰富度)例外,越小越多样)。直接看报告里的雷达图和解读即可,不必纠结公式。

TTR(不同词占总词数的比例)
MATTR(分段滑动计算的不同词比例)
MSTTR(分段计算的不同词比例)
MTLD(用词不重复能延续多长)
HD-D(抽样估算的用词丰富度)
vocd-D(曲线拟合估算的用词丰富度)
Yule's K(词频集中在少数词的程度)
Yule's I(用词分散多样的程度)
Maas a²(受文本长短影响较小的丰富度)

自动模式按文中中英文字符占比判断;混排建议手动指定。

主流学术口径

关闭:原汁原味的语料统计(默认,符合大多数学术口径);开启:只看实词的丰富度。

100 token

滑窗越小越【敏感】(短段重复也会拉低指标);学界惯用 100,长文本可放到 200–500。

100 token

每段算一次 TTR(不同词占总词数的比例)取平均;末尾不足一段者按 Johnson 1944 原版做法丢弃。

已识别 0 / 500 个词

一行一词,也可写成【词 词频 词性】。填写后这些词按整词处理,专名和术语不会被切碎。

每 10,000 个字符 2 点

词汇多样性分析常见问题

词汇多样性分析适合处理什么材料?
中文文本材料,例如新闻报道、政策文件、访谈记录、评论和文学作品,上传文本文件后即可分析。
词汇多样性分析会得到什么结果?
一次算出 TTR、MTLD 等九项词汇丰富度指标,并沿文本位置画出用词重复程度的变化。
词汇多样性分析怎么用?
上传材料、确认设置、点提交,任务完成后在工作台打开报告。不用安装软件,也不用写代码。详细步骤见教程《词汇多样性分析完整教程:从 TTR 的长度陷阱,到 MTLD 与 MATTR 等九项指标,再到多份文本的丰富度对照》。
词汇多样性分析怎么计费?
按文字量计费,每满 10000 字 2 点,不足 10000 字按 2 点算。提交前页面会显示本次消耗。
结果可以写进论文吗?
可以。报告里的数字和图表附有统计口径与原文出处,末尾有方法说明,涉及统计模型的报告还列出参考文献,可以作为论文附件或方法依据。

在论文里引用词汇多样性分析: 查看引用格式

同类工具

  • Mia通用快速情感判断逐条判断中文短文本是夸、是骂还是说不上夸骂,并统计整批比例。
  • 高级情感分析逐条判定情感倾向,给出摘自原文的证据词和整句判定逻辑,并归纳消极文本的主要原因。
  • AIGC内容检测排查中文材料的 AIGC 写作痕迹,逐段逐句给出风险值、主要原因和修改方向。
  • AI味写作痕迹检测查找中文文本里常见于大模型写作的句式与标点习惯,给出 0–100 的 AI 写作痕迹指数。
  • 知识图谱从材料中抽取实体与关系生成知识图谱,合并同义说法,并归出主题群与一份提纲。
  • 停用词挖掘按词在各段落的分布挖出本领域特有的高频低信息词,给出可直接取用的停用词候选表。