文本质量评估器

对每份文本整体统计:字数、词数、句数、段数、唯一词数,句子长度分布,词汇丰富度(TTR、MTLD、HD-D,三种衡量用词是否重复单调的指标),中文、英文、数字、标点、表情各占多少字符,以及整行、单词和连续词组的重复率。综合这些指标给出 0~100 的得分与 good / fair / poor(好 / 一般 / 差)三档评价。

另外逐项判断这份材料能否用于聚类、LDA 主题模型、BERTopic 主题模型、命名实体识别、情感分析和抽取式摘要。这里只检查是否达到各项分析的最低输入条件,达标不代表分析结果一定可用。多份材料一起评估时给出横向对比。

每个文件按一篇完整文本评分
  1. 每个文件整体评一次分。要分别评估多篇文本,请拆成多个文件上传。
  2. 段落只按空行切分,单个换行不分段。整篇没有空行的文件会被算作一段,平均段落长度超过 2000 个字符要扣分。
  3. 任务适用性只检查文件是否达到各任务的最低输入条件,通过门槛不等于适合直接建模。
加载文件上传组件中...

每 10,000 个字符 1 点

文本质量评估器常见问题

文本质量评估器适合处理什么材料?
中文文本材料,例如新闻报道、政策文件、访谈记录、评论和文学作品,上传文本文件后即可分析。
文本质量评估器会得到什么结果?
统计文本的规模、句长、词汇丰富度与重复率,给出 0~100 分,并判断能否用于聚类、主题模型等分析。
文本质量评估器怎么用?
上传材料、确认设置、点提交,任务完成后在工作台打开报告。不用安装软件,也不用写代码。详细步骤见教程《文本质量评估器:从字符构成到任务适用性,给语料做一次全面体检》。
文本质量评估器怎么计费?
按文字量计费,每满 10000 字 1 点,不足 10000 字按 1 点算。提交前页面会显示本次消耗。
结果可以写进论文吗?
可以。报告里的数字和图表附有统计口径与原文出处,末尾有方法说明,涉及统计模型的报告还列出参考文献,可以作为论文附件或方法依据。

在论文里引用文本质量评估器: 查看引用格式

同类工具

  • 文本清洗清理文本里的标点符号、表情、网页标签和自定停用词,并可把长文切成等长片段。
  • 中文文本规范化统一中文材料里的繁简、引号、全半角和省略号写法,可把数字改写成中文,并整篇注音。
  • 词性标注标出每个词的语法类别,统计词性分布与相邻词性的搭配概率,并与六类参考语料比较写法偏向。
  • 关键词抽取用 TF-IDF 与 TextRank 两种方法各提一份关键词并交叉对照,标出两者都认可的核心词。
  • 高频词提取统计词频,并可同时统计两到四个词组成的固定说法,标出哪些提法在多份材料里反复出现。
  • 命名实体识别找出文本里的人名、地名、机构名和时间,并用规则与语义两种口径并排给出结果供核对。