经典LDA主题建模
用经典 LDA(潜在狄利克雷分配,一种概率主题模型)做主题建模:以段落、行或整份文件作为一篇文档,分词后按停用词、词长和文档频数过滤词表,转成词袋再用变分贝叶斯估计主题。所有文件合并成同一批文档一起训练,得到一套跨文件通用的主题。
输出每个主题的高概率词及其概率、每篇文档在各主题上的概率分布和主导主题,以及主题规模占比、困惑度和主题一致性。主题数、文档-主题与主题-词两个先验、遍历与迭代次数、随机种子等全部由你指定,不自动选主题数、不自动调参;每一步过滤掉多少文档、多少词都记录下来。
选择最接近你材料的一类,系统会一键填好这类材料的推荐参数;选完仍可在下方逐项微调。不确定就按材料的单条/单篇字符数对号入座。
切分出的每个单元会作为一个独立文档参与主题估计。
经典做法由研究者自行指定 K,再用困惑度和一致性比较不同 K 的结果。有效文档数必须不少于 K。
一行一个词,也可写成 词 词频 词性(空格分隔);逗号、顿号、分号或换行分隔均可。
字典帮助:可使用 搜狗细胞词库 下载你需要的字典 SCEL 文件,并使用辅助工具中的 【搜狗输入法词库 SCEL 转 TXT 字典工具】 转为 txt 后,用上方的导入按钮加入
系统停用词与自定义停用词取并集;英文语料的系统停用词使用通用英文清单。
分词工具碰到不认识的新词常会拆开,比如把“乡村振兴”拆成“乡村”和“振兴”。打开后,会先把你文本里的这类词找出来加进词典,分词时就不容易拆散了。仅支持中文文本。每 10,000 字 5 点。
短于该长度的词不参与建模。中文设为 2 可过滤单字词;英文常用 2-3。
开启后由纯数字构成的词不参与建模。
去掉空白后短于该长度的文档单元会被剔除,剔除数量会在报告中列出。设为 0 表示不剔除。
词至少要在这么多个文档中出现才保留。文档数少时建议 1-2,语料大时可到 5 以上。
出现于超过该比例文档的词会被移除。100% 表示不启用该项过滤。
频率过滤后只保留出现频次最高的前 N 个词。填 0 表示不限制。
整个语料被完整训练的遍数。语料小、文档少时适当加大。
推断单个文档主题分布时的最大迭代次数,常用 50-100。
每批送入训练的文档数量,超过语料规模时等价于一次处理全部文档。
仅在线训练使用。控制旧批次信息被遗忘的速度,取值范围 0.5-1。
仅在线训练使用。减缓前几个批次对参数的影响。
固定随机种子可使同一份数据、同一组参数的结果可复现。
报告中每个主题展示的高权重词数量;下载文件中每主题固定导出前 50 个词。
每 10,000 个字符 2 点
经典LDA主题建模常见问题
- 经典LDA主题建模适合处理什么材料?
- 中文文本材料,例如新闻报道、政策文件、访谈记录、评论和文学作品,上传文本文件后即可分析。
- 经典LDA主题建模会得到什么结果?
- 把多份材料合并成同一批文档训练经典 LDA,输出主题词、文档主题分布与困惑度、一致性。
- 经典 LDA 需要我设哪些参数?
- 主题数、文档-主题与主题-词两个先验、遍历与迭代次数和随机种子都由你指定,程序不自动选主题数、不自动调参,每一步过滤掉多少文档和词都有记录。
- 一篇文档是按什么切的?
- 可以把段落、行或整份文件当作一篇文档,分词后按停用词、词长和文档频数过滤词表再训练。
- 经典LDA主题建模怎么用?
- 上传材料、确认设置、点提交,任务完成后在工作台打开报告。不用安装软件,也不用写代码。详细步骤见教程《经典 LDA 实战:从材料预设到主题报告》。
- 经典LDA主题建模怎么计费?
- 按文字量计费,每满 10000 字 2 点,不足 10000 字按 2 点算。提交前页面会显示本次消耗。
- 结果可以写进论文吗?
- 可以。报告里的数字和图表附有统计口径与原文出处,末尾有方法说明,涉及统计模型的报告还列出参考文献,可以作为论文附件或方法依据。
在论文里引用经典LDA主题建模: 查看引用格式
