文本质量评估器

做 NLP 项目时最怕拿到一份看起来正常、实际上跑不动的文本：符号占比过高导致分词崩溃、重复行太多让主题模型输出全是噪声、段落没有切分让摘要任务截断在奇怪的位置。这些问题肉眼很难发现，但会直接毁掉下游分析的结果。文本质量评估器解决的就是这个问题：在跑任何分析之前，先用纯统计方法扫一遍，从字符构成、词频分布、句长段长、重复率、信息熵等多个维度量化文本质量，给出一个 0-100 的综合得分和 good/fair/poor 三档评价。

报告分为两个视角。「文本基础概览」面向写作和编辑场景：展示总字数、净字数、词数、唯一词、句数、段数六个规模指标，句长分布直方图（含 P50/P90 分位数和短句/长句占比），词汇丰富度三种学术指标（TTR、MTLD、HD-D）配合雷达图，字符构成饼图（中文/英文/数字/标点/空白/表情占比），以及标点全半角统计。「NLP 任务适用性体检」面向技术场景：展示综合得分，逐项判定文档是否适合做聚类、LDA、BERTopic、命名实体识别、情感分析、抽取式摘要六种任务，以及重复性指标（行重复/词重复/n-gram 重复）、文本组成分析、词汇质量指标（词汇密度、稀有词得分、新颖性）、结构特征（段落信息熵、平均句长）和信息密度指标。

多文件上传时自动展示横向对比表，按字数、词数、句数、段数、唯一词、TTR、MTLD、HD-D、平均句长九个维度对照，快速发现文件间的差异。每个指标区块都附带算法说明和注意事项，包括适用范围和已知局限。综合得分采用启发式累计扣分：从 100 分起步，符号占比过高扣 15 分、有效字符过少扣 15 分、文本过短扣 15 分、词汇丰富度不足扣 10 分，逐项叠加后给出最终评价。任务适用性只判"内容是否干净到能跑"，不预测"结果好不好"，门槛只排除空文件、纯符号、极端模板化重复等明显不可用的情况。