给文本里的每个词标出语法类别,并把细分标签归并为名词、动词、形容词、副词、代词、数词、量词、介词、连词、助词、语气词、叹词、方位词和其他共 14 个大类统计分布。中文同时给出分词和句法两条标注结果,两者对同一个词的判断可能不同,放在一起就能看出切词和语法角色判断上的分歧;英文只有句法一条。
除分布外还计算相邻词性的转移概率,看出(名词→动词)(形容词→名词)这类前后搭配有多常见;并与一般新闻、学术、口语、社媒、电商评论、文学作品六类参考语料比较各类词的占比偏差,判断这份材料更接近哪种写法。可按词性筛选出词表和实词词典,供后续分析使用。
