词汇多样性分析完整教程：从 TTR 的长度陷阱，到 MTLD 与 MATTR 等九项指标，再到多份文本的丰富度对照

想比较两届学生的议论文，看哪一届用词更丰富；或者比较一位作家早期和晚期的作品，看这位作家的词汇是不是越写越窄。最直接的想法是数一数用了多少个不同的词，再除以总词数。可这样算出来，长文章几乎总是输给短文章，一万字的长篇小说，不同词的比例可能还不如一篇八百字的作文。

用词丰富程度在语言学里叫词汇多样性（Lexical Diversity）。从 1940 年代起，研究者提出了一连串指标，都在想办法绕开文本长度的干扰。TATOOLS 的【词汇多样性分析】一次算出九项通行指标，沿文本位置画出用词重复程度的变化，多份材料一起分析时，把各篇放到同一标准下对照，并比较哪几份的丰富度画像最接近。

这篇教程先讲 TTR 为什么受长度影响，再按几条不同的思路逐个讲下去，每个指标都配上可以手算的例子，最后讲设置、报告的读法和论文里的写法。

一段文字里所有的词，按出现一次算一次，叫形符（Token）；不同的词各算一个，叫类符（Type）。

词汇多样性衡量的是类符相对形符有多少，也就是用词有多不重复。它在二语写作评估和儿童语言发展研究里是基本指标，作者风格和翻译研究也常用，学生作文的词汇多样性常被用来衡量语言水平，同一作者不同时期的词汇多样性可以看出风格的变化。

TATOOLS 的【词汇多样性分析】先对每份材料切词，再在这串词上计算全部九项指标。

最朴素的指标是类符形符比（Type-Token Ratio，TTR）。

问题出在文本越长，新词出现得越慢。常用词会一遍遍重复，类符的增长越来越跟不上形符。这条规律常用 Heaps 定律描述，V ≈ K × N^β，β 小于 1。取 K = 5，β = 0.6 手算。

同一个人用同样的词汇习惯写作，只因为写得长，TTR 就从 0.79 掉到了 0.13。Tweedie 和 Baayen 1998 年系统检验了几十年来提出的各种词汇丰富度常数，发现大多数仍然随文本长度系统地变化。

所以 TTR 只适合比较长度相近的材料。长短不同的材料，要看下面这些专门为消除长度影响设计的指标。

Johnson 1944 年提出的办法是把文本切成等长的段，每段算一次 TTR 再取平均，这就是分段平均类符形符比（MSTTR）。段长固定，不同长度的文本就有了可比的基础。

末尾不足一段的词按原版做法丢弃。分段的切点是人为定的，同一段话切在不同位置，结果会有差别。Covington 和 McFall 2010 年提出移动平均类符形符比（MATTR），让一个固定长度的窗口从头到尾每次滑一个词，每个位置算一次 TTR，再取平均。

MATTR 用到了每一个可能的切点，结果稳定，也不丢掉任何词。工具页的【MATTR 滑窗大小】和【MSTTR 分段大小】都可以在 20 到 500 个词之间设定，默认 100，这也是文献里最常用的值。窗口越小，越容易被短距离的重复拉低。

McCarthy 2005 年提出、McCarthy 和 Jarvis 2010 年系统验证的文本词汇多样性度量（MTLD），换了一个问法，用词要延续多长，TTR 才会跌到一个固定的阈值。

从第一个词开始往后读，一边读一边算累计的 TTR，一旦跌到 0.72 以下，就记为一个因子，清零重新开始。读到最后剩下的一段不满一个因子，按它离 0.72 还差多远折算成部分因子。MTLD 等于总词数除以因子数，因子越少，说明用词越能延续不重复。

TATOOLS 按原作者的做法，正着读一遍，再倒着读一遍，两个结果取平均，这个例子倒着读得到 12，最终 MTLD ≈ 9.97。真实材料的 MTLD 通常在几十到一百多之间。McCarthy 和 Jarvis 的验证研究表明，MTLD 在各种长度的文本上都相当稳定，是目前应用语言学里最常用的指标之一。

另一条思路是从文本里抽一小段样本，看样本里平均会出现多少个不同的词。

HD-D 用超几何分布精确算出这个期望值，不需要真的去抽。一个出现 f 次的词，在随机抽 s 个词的样本里至少出现一次的概率是

用上面 12 个词、抽 3 个词手算。

HD-D 就是随机抽 3 个词时，样本 TTR 的期望值。TATOOLS 按 McCarthy 和 Jarvis 的惯例取 42 个词作为样本量，所有文本都在同样大的样本上比较。

vocd-D 由 Malvern 和 Richards 等人提出，它用一个参数 D 描述 TTR 随样本量下降的整条曲线。

D 越大，曲线整体越高，用词越丰富。TATOOLS 在 35 到 50 个词的样本量上分别算出实际的 TTR，再找一个 D，让理论曲线和实际值贴得最紧。为了结果可以复现，样本用等间隔取出的片段代替随机抽样，同一份材料每次算出的 D 都一样。

前面几个指标都从 TTR 出发，Yule 1944 年换了一个角度，看词频分布有多集中。先数出每个出现次数有几个词，这叫频次谱。

K 越大，词频越集中在少数几个词上，用词越单调；I 是它的倒数形式，越大越多样。K 的一个好性质是在文本长度变化时相对稳定。

Maas 1972 年提出的 a² 同时用到类符和形符的对数。

a² 受文本长短的影响较小，但方向和其他指标相反，数值越小，用词越多样。TATOOLS 同时给出它的倒数 1 ÷ a²，方便和其他指标放在一起看。

McCarthy 和 Jarvis 2010 年建议，论文里至少同时报告 MTLD、vocd-D 和 HD-D 三个指标，它们从不同角度测量，结论一致时最可靠。TATOOLS 的报告为 MTLD 和 MATTR 各附一句解读，写明这个数值在一般文本里大致处在什么水平。

【切分单位】默认按词，中文先分词，英文按空格切词，这是主流的学术口径；也可以按字，中文按汉字、英文按字母统计，适合古文和字本位的研究。纯数字和单个英文字母不计入。【自定义词典】里的词按整词处理，专名和术语不会被切碎，否则同一个术语被切成两个常见词，会让多样性显得偏低。

【计算前去除停用词】默认关闭，保留原汁原味的语料，符合大多数文献的口径；打开以后，的和了这类功能词不参与计算，看的是实词的丰富程度。两种口径的数值差别很大，论文里要写明用的是哪一种。

【文本语言】可以自动检测，也可以指定中文或英文。材料太短时，指标都不稳定，工具页会在提交前提醒。

上传多份材料时，TATOOLS 对每一份单独计算，再把它们放在一起比较。

【多文件标准化雷达】把每个指标在各份材料之间缩放到 0 到 1，最低的记 0，最高的记 1，Maas 反过来缩放，统一成越往外越多样。

【两两相似度矩阵】用缩放后的九维向量算两份材料的余弦相似度，看它们的丰富度画像像不像。余弦相似度看的是画像的形状，不看高低。

乙在每个指标上都只有甲的一半，两者的余弦相似度却是 1，说明它们各项指标的相对强弱完全一样。想比较谁更丰富，看【多文件指标汇总表】里的原始数值。

一篇长文里，用词重复常常集中在某几段，比如结尾反复总结，或者中间某一节在车轱辘话。【MATTR 沿位置曲线】让滑窗从头走到尾，横轴是窗口所在的位置，纵轴是这个窗口里的 TTR。

曲线在哪里明显下沉，哪一段的用词就开始变得重复；曲线一直平稳，说明全文用词的丰富程度前后一致。TATOOLS 在曲线下方写明最高和最低的位置，每份材料的曲线也可以下载成表格。

九项指标每次都全部计算，不需要选择。

读的顺序是先看 MTLD、MATTR 和 HD-D 三个长度不敏感的指标是否一致，再看位置曲线找出重复集中的段落，多份材料时最后到汇总表里比较原始数值。全部指标可以下载成汇总表。

词汇多样性的方法部分要写明切分单位、是否去除停用词和报告了哪些指标。下面是一段写法示例，方括号里换成自己的内容。

报告时列出每份材料的形符数、类符数和三项主要指标，读者就能判断比较是否公平。

想看新词随篇幅怎样一个个出现，可以用 TATOOLS 的【词汇增长曲线分析】；想比较两批材料里哪些词用得明显更多，用【语料对比关键词分析】；想从文风上比较几份材料，用【写作风格判定】。