文本清洗按你勾选的规则处理 TXT 和 CSV 材料：删除表情、标点、数字、停用词和过短的行，或把长文本切成长度相近的片段。 每个输入文件生成一个同格式的结果文件 ，并附一份处理报告。
问卷开放题、访谈逐字稿、网页评论这类材料常带有表情、重复标点、不可见字符和网页代码。先清洗，再投入词频、主题、情感等分析。
01
准备材料
支持 TXT 和 CSV。Word、PDF、Excel 等常用文档也可以上传，系统会先转换为 TXT 或 CSV。单个文件不超过 10 MB，不超过 10,000 行。
TXT 按整份文本处理，行的边界默认保留。CSV 逐个文本列处理每个单元格，数字等非文本列不处理，列结构保持不变。
无论勾选哪些规则，所有材料都会先经过一步基础处理：统一换行符，删除零宽字符和控制字符，把行内连续的空格和制表符合并为一个空格，去掉行首行尾的空白。这一步不删除表情，表情由下面的规则控制。
02
选择处理规则
页面上共有七个开关。【清理标点和符号】默认开启，其余默认关闭。 至少选择一项规则才能提交 ；只开启【清理标点和符号】总开关而不勾选具体项，或者只开启分段，都不能提交。
清理标点和符号
开启后只执行勾选的处理项，未勾选的符号保持原样。默认勾选前四项。
| 处理项 | 默认 | 处理内容 |
|---|---|---|
| 移除表情符号 | 勾选 | 删除 😀 🎉 👍 等表情，以及 ★ ☆ ✔ 等符号型字符 |
| 合并连续重复标点 | 勾选 | ！！！ 合并为 ！，。。。 合并为 。；！？ 混合连写只保留第一个 |
| 删除停顿标点 | 勾选 | 删除 ，、；： 以及半角的 , ; : |
| 删除连接符和分隔符 | 勾选 | 删除 - — – _ / \ | · … ~ ～ |
| 将常见半角标点转为全角 | 未勾选 | 把 , . ? ! ; : ( ) [ ] < > 换成对应的全角标点 |
| 删除句末标点 | 未勾选 | 删除 。！？ 以及半角的 . ! ? |
| 删除括号和引号 | 未勾选 | 删除 （）()【】[]{}《》<> 和中英文引号 |
| 删除其他标点及符号 | 未勾选 | 删除以上各组之外的标点和符号，如 ※ § ¶ → ℃ ± @ # % & * + |
两处需要留意。【将常见半角标点转为全角】会把所有英文句点换成句号，小数点和网址也不例外，3.5 会变成 3。5。
【删除连接符和分隔符】会删掉日期和编号里的横线和斜线，2024-05-01 会变成 20240501。
仅保留中文内容
先从 HTML 中提取可见文字，再只保留汉字、常用中文标点 。，！？、；： 和换行。英文、数字、空格、其他语言文字和其余符号全部删除。适合网页抓取的评论；含编号、日期、英文缩写或外文引文的材料不宜开启。
如果同时勾选了【删除停顿标点】，保留下来的中文标点只剩 。！？。
删除十进制数字
删除文本中的阿拉伯数字，连续数字整体删除；一、二、十等中文数词不受影响。日期、编号、金额和量表分值会随之丢失。
合并换行
把一个或多个换行换成一个空格，再合并相邻的多余空白。TXT 整份文本变成一行，CSV 中每个单元格变成一行。需要保留段落边界的访谈稿和长文应关闭。
移除自定义停用词
需要上传一份 TXT 词表，每行一个词。系统按词表逐项在文本中查找并删除，不做分词， 命中的文字位于更长词语内部时同样被删 。词表含【的】时，【目的】会变成【目】。提交前先核对词表。开关开启但没有上传词表时，这一项不执行。
删除短于阈值的行
在标点、数字和停用词规则执行之后，删除去掉首尾空白后长度小于阈值的行；长度等于阈值的行保留。阈值可设 1 到 10 个字符，默认 5。
因为其他删除先执行，一行【好的。】在勾选【删除句末标点】后只剩 2 个字符，阈值为 5 时会被删除。标题、编号、简短回答和对话短句多的材料应谨慎开启。
按目标长度分段
清洗完成后，把文本切成长度接近目标值的片段，可设 20 到 500 个字符，默认 50。切分位置先在目标长度附近找 。！？；，找不到再找换行，文本较长时再找 ，：，都没有时按字符数直接切。片段不重叠，也不保证等长； 长度不超过 5 个字符的片段会被丢弃 。
TXT 的片段在结果文件中以空行分隔。CSV 只切分每条记录第一个有内容的文本列，每个片段成为一条新记录，其他列的值原样复制，输出记录数因此多于输入。
分段本身不算处理规则，需要同时选择至少一项规则。工具页功能介绍给出的参考值：LDA 约 50 到 200 字，BERTopic 约 100 到 500 字。
规则的执行顺序
删除零宽字符和控制字符；勾选时同时删除表情
半角标点转全角
合并连续重复标点
仅保留中文内容，先提取 HTML 可见文字
删除勾选的标点和符号
删除数字
删除停用词
删除短行
规范空白；勾选合并换行时把换行换成空格
按目标长度分段
03
提交任务
选好规则后点击【提交任务】。需要通知时开启【完成后发送结果通知】并填写邮箱，任务完成后会发送通知；结果仍要在任务详情页查看和下载。
每个输入文件对应一个结果文件，TXT 仍是 TXT，CSV 仍是 CSV。文件以带 BOM 的 UTF-8 保存，Windows 记事本可以直接识别编码。
04
读懂处理报告
任务完成后，报告从上到下分为五块。
这份结果说明了什么
生成的结果文件数，清洗后的字符总数和行数，清洗前后的字符差额及其占输入字符的比例，本次使用的规则。
三张统计卡
【处理范围】记录结果文件数、输出行或记录数和空行数，启用分段或删除短行时还显示片段数和删除的短行数；【字符总量变化】记录输入和输出字符总数、字符变化、输出／输入字符比；【本次设置】列出实际生效的规则。
文件处理详情
每个文件一行，列出输入字符、输出字符、字符变化及其比例、输出行数。
清洗前后对照
每个文件展示前 1000 个字符。左侧是清洗前，红色标出的内容没有出现在右侧；右侧是清洗后。CSV 显示的是文本单元格摘录，不是原始排版。完整内容以下载的结果文件为准。
方法与口径
说明字符和行数的统计方式。
读数字时记住三条口径。TXT 的字符数包含换行；CSV 只统计非空单元格里的内容，不计表头和分隔符。开启分段后，TXT 会增加空行，CSV 会增加记录，输出字符数和行数可能比输入多，此时字符差额不等于删除量。不同格式或不同分段设置的文件，字符变化比例不宜直接比较。
05
几类常见材料的设置
| 材料 | 设置 |
|---|---|
| 网页抓取的评论，夹杂 HTML 标签和代码 | 开启【仅保留中文内容】；英文和数字会一并删除 |
| 访谈逐字稿，需要保留段落和简短回答 | 关闭【合并换行】，不开【删除短于阈值的行】 |
| 含日期、编号、金额、网址 | 不勾选【删除连接符和分隔符】和【将常见半角标点转为全角】，不开【删除十进制数字】 |
| 准备做 LDA 或 BERTopic | 开启【按目标长度分段】，LDA 约 50 到 200 字，BERTopic 约 100 到 500 字 |
01
在任务页面完成一次文本清洗
打开文本清洗页面，先按材料需要选择删除规则，再提交任务。可以对照已有的十三五规划文本清洗实例了解结果的组织方式。
文本清洗任务页面：上传材料、停用词与清理规则，截图展示进入页面时的默认状态
上传文档。 确认上传列表中的材料就是本次要清洗的语料。保留原文件，便于与清洗结果对照。
选择标点和符号规则。 打开【清理标点和符号】后，分别决定是否移除表情、合并连续重复标点、删除停顿标点、删除连接符和分隔符。句末标点、括号与引号有各自的选项，不需要一起删除。
按需要填写停用词。 【自定义停用词】用于提供要删除的词。没有明确的排除词表时可以留空，避免把研究对象、机构名或关键概念误当作停用词。
确定是否保留数字与换行。 【删除十进制数字】与【合并换行】分别控制两种处理。政策年份、金额、编号仍需参与分析时，保留数字；每一行代表一条独立回答时，保留换行。只有确实要删去非中文内容时，才启用【仅保留中文内容（谨慎使用）】。
需要分段时再设置长度。 打开【按目标长度分段】并设置【目标片段长度】；需要删去短行时，打开【删除短于阈值的行】并设置【最短保留长度】。不需要这两种处理时保持关闭。
提交并查看结果。 任务完成后打开报告，核对本次设置、各文件的字符变化和结果文件，再决定是否将清洗后的材料用于后续分析。
已有的十三五规划实例启用了标点和符号清理、移除表情、合并连续重复标点、删除停顿标点、删除连接符和分隔符，以及合并换行。它没有启用停用词删除、仅保留中文、删除数字、分段或删除短行。这组配置用于说明该实例实际做了哪些处理，不能直接套用于所有语料。
02
报告页面各区块怎么看
十三五规划文本清洗实例：输入 69,170 字符，输出 64,933 字符，并列出所用规则与文件详情
这个实例生成了 1 个结果文件。输入为 69,170 个字符，输出为 64,933 个字符，减少 4,237 个字符；文件详情显示减少比例为 6.13%，顶部输出／输入字符数比为 93.87%。两种比例使用同一个输入总量作分母，但前者描述减少的部分，后者描述输出总量。实例开启了【合并换行】，因此结果显示 1 行／记录；任务页截图中的这个开关则保持默认关闭。
【处理范围】说明输出的规模。 结果文件数、输出行／记录数和空白行／记录数分别回答生成了多少文件、包含多少行或记录、其中多少被系统计为空。启用分段或删除短行后，报告还会显示相应数量。
【字符数变化】比较处理前后的总量。 输入字符数与输出字符数的差值说明总量增减；【输出／输入字符数比】的分母是输入字符数。这个比例不能解释为信息保留率。应把它与本次设置一起看：合并换行、删除标点或删除停用词都会改变字符数。
【文件处理详情】帮助定位具体文件。 先找到字符变化较大的文件，再核对它的输入、输出和所用规则。这里的【字符变化比例】与顶部【输出／输入字符数比】含义不同，应按列名阅读。TXT、CSV 以及采用不同分段设置的结果，也不宜直接用一个比例比较。
【清洗前后对照】用于查看局部变化。 保存了预览的任务会并排显示每个文件清洗前、清洗后的前 1000 个字符。左侧红色内容表示它未出现在右侧预览中；完整变化仍需查看结果文件。CSV 预览是文本单元格摘录，不保留原表格排版。旧任务如果提示未保存预览，应直接查看下载结果。
【方法与口径】解释数字的来源。 如果报告提示使用旧版统计口径，应在本任务内核对变化，避免直接拿这些数字与新任务比较。确认结果符合预期后，再把输出材料送入词频、关键词或其他分析任务。
END