经典LDA主题建模

用经典 LDA(潜在狄利克雷分配,一种概率主题模型)做主题建模:以段落、行或整份文件作为一篇文档,分词后按停用词、词长和文档频数过滤词表,转成词袋再用变分贝叶斯估计主题。所有文件合并成同一批文档一起训练,得到一套跨文件通用的主题。

输出每个主题的高概率词及其概率、每篇文档在各主题上的概率分布和主导主题,以及主题规模占比、困惑度和主题一致性。主题数、文档-主题与主题-词两个先验、遍历与迭代次数、随机种子等全部由你指定,不自动选主题数、不自动调参;每一步过滤掉多少文档、多少词都记录下来。

加载文件上传组件中...

选择最接近你材料的一类,系统会一键填好这类材料的推荐参数;选完仍可在下方逐项微调。不确定就按材料的单条/单篇字符数对号入座。

切分出的每个单元会作为一个独立文档参与主题估计。

5

经典做法由研究者自行指定 K,再用困惑度和一致性比较不同 K 的结果。有效文档数必须不少于 K。

已识别 0 / 500 个词

一行一个词,也可写成 词 词频 词性(空格分隔);逗号、顿号、分号或换行分隔均可。

字典帮助:可使用 搜狗细胞词库 下载你需要的字典 SCEL 文件,并使用辅助工具中的 【搜狗输入法词库 SCEL 转 TXT 字典工具】 转为 txt 后,用上方的导入按钮加入

已识别 0 / 500 个词

系统停用词与自定义停用词取并集;英文语料的系统停用词使用通用英文清单。

分词工具碰到不认识的新词常会拆开,比如把“乡村振兴”拆成“乡村”和“振兴”。打开后,会先把你文本里的这类词找出来加进词典,分词时就不容易拆散了。仅支持中文文本。每 10,000 字 5 点。

2 个字符

短于该长度的词不参与建模。中文设为 2 可过滤单字词;英文常用 2-3。

开启后由纯数字构成的词不参与建模。

10 个字符

去掉空白后短于该长度的文档单元会被剔除,剔除数量会在报告中列出。设为 0 表示不剔除。

2 个文档

词至少要在这么多个文档中出现才保留。文档数少时建议 1-2,语料大时可到 5 以上。

80%

出现于超过该比例文档的词会被移除。100% 表示不启用该项过滤。

100,000

频率过滤后只保留出现频次最高的前 N 个词。填 0 表示不限制。

10

整个语料被完整训练的遍数。语料小、文档少时适当加大。

50

推断单个文档主题分布时的最大迭代次数,常用 50-100。

2000

每批送入训练的文档数量,超过语料规模时等价于一次处理全部文档。

对称
对称
0.5

仅在线训练使用。控制旧批次信息被遗忘的速度,取值范围 0.5-1。

1

仅在线训练使用。减缓前几个批次对参数的影响。

42

固定随机种子可使同一份数据、同一组参数的结果可复现。

15 个

报告中每个主题展示的高权重词数量;下载文件中每主题固定导出前 50 个词。

每 10,000 个字符 2 点

经典LDA主题建模常见问题

经典LDA主题建模适合处理什么材料?
中文文本材料,例如新闻报道、政策文件、访谈记录、评论和文学作品,上传文本文件后即可分析。
经典LDA主题建模会得到什么结果?
把多份材料合并成同一批文档训练经典 LDA,输出主题词、文档主题分布与困惑度、一致性。
经典 LDA 需要我设哪些参数?
主题数、文档-主题与主题-词两个先验、遍历与迭代次数和随机种子都由你指定,程序不自动选主题数、不自动调参,每一步过滤掉多少文档和词都有记录。
一篇文档是按什么切的?
可以把段落、行或整份文件当作一篇文档,分词后按停用词、词长和文档频数过滤词表再训练。
经典LDA主题建模怎么用?
上传材料、确认设置、点提交,任务完成后在工作台打开报告。不用安装软件,也不用写代码。详细步骤见教程《经典 LDA 实战:从材料预设到主题报告》。
经典LDA主题建模怎么计费?
按文字量计费,每满 10000 字 2 点,不足 10000 字按 2 点算。提交前页面会显示本次消耗。
结果可以写进论文吗?
可以。报告里的数字和图表附有统计口径与原文出处,末尾有方法说明,涉及统计模型的报告还列出参考文献,可以作为论文附件或方法依据。

在论文里引用经典LDA主题建模: 查看引用格式

同类工具

  • 文本清洗清理文本里的标点符号、表情、网页标签和自定停用词,并可把长文切成等长片段。
  • 文本质量评估器统计文本的规模、句长、词汇丰富度与重复率,给出 0~100 分,并判断能否用于聚类、主题模型等分析。
  • 中文文本规范化统一中文材料里的繁简、引号、全半角和省略号写法,可把数字改写成中文,并整篇注音。
  • 词性标注标出每个词的语法类别,统计词性分布与相邻词性的搭配概率,并与六类参考语料比较写法偏向。
  • 关键词抽取用 TF-IDF 与 TextRank 两种方法各提一份关键词并交叉对照,标出两者都认可的核心词。
  • 高频词提取统计词频,并可同时统计两到四个词组成的固定说法,标出哪些提法在多份材料里反复出现。