按你选的规则清理文本里的标点和符号:可以按句末标点、停顿标点、括号引号、连接符、其他符号分类分别删除或保留,全角半角统一,连续重复的标点合并,表情符号和零宽字符移除;另可删除数字、把换行合并成空格。停用词只删除你自己上传或填写的词,不使用内置词表。
勾选【仅保留中文内容】只留中文字和中文标点,英文与数字一并丢弃,适合处理网页抓下来的材料。长文可以切成等长片段,也可以删掉短于指定字数的行。
按你选的规则清理文本里的标点和符号:可以按句末标点、停顿标点、括号引号、连接符、其他符号分类分别删除或保留,全角半角统一,连续重复的标点合并,表情符号和零宽字符移除;另可删除数字、把换行合并成空格。停用词只删除你自己上传或填写的词,不使用内置词表。
勾选【仅保留中文内容】只留中文字和中文标点,英文与数字一并丢弃,适合处理网页抓下来的材料。长文可以切成等长片段,也可以删掉短于指定字数的行。
选择需要处理的标点和符号类型。未选择的类型不会因本组设置被删除。
已选项示例:😀 🎉 👍 !!! → ! ??? → ? 。。。 → 。 , 、 ; : , ; : - — – _ / \ | · … ~ ~
每 10,000 个字符 1 点