如何用 Python 从海量文本抽取主题

Question

如题所述

Answer 1

要从海量文本中提取主题，可以使用Python中的主题建模库，例如gensim和scikit-learn。以下是使用gensim库从海量文本中提取主题的基本步骤：1.准备数据：将文本数据转换为gensim期望的输入格式，即词袋（bag-of-words）表示法或TF-IDF（词频-逆文档频率）表示法。2.训练模型：使用gensim中的LDA（Latent Dirichlet Allocation）模型训练主题模型。3.评估模型：通过计算困惑度（perplexity）和主题一致性（topic coherence）等指标来评估模型的性能。4.应用模型：将新的文本数据输入到训练好的模型中，获得文本的主题分布。以下是使用scikit-learn库从海量文本中提取主题的基本步骤：1.准备数据：将文本数据转换为scikit-learn期望的输入格式，即TF-IDF表示法。2.训练模型：使用scikit-learn中的NMF（Non-negative Matrix Factorization）模型训练主题模型。3.评估模型：通过计算重构误差（reconstruction error）等指标来评估模型的性能。4.应用模型：将新的文本数据输入到训练好的模型中，获得文本的主题分布。需要注意的是，从海量文本中提取主题需要大量的计算资源和时间，因此，可以考虑使用分布式计算框架，例如Apache Spark和Dask，来加速计算。八爪鱼采集器支持导出数据为CSV、Excel等格式，方便您在Python中进行进一步的数据处理和分析。八爪鱼为用户准备了一系列简洁易懂的教程，帮助大家快速掌握采集技巧，轻松应对各类网站数据采集，请前往官网教程与帮助了解更多详情。

Answer 2

代码
我们在Jupyter Notebook中新建一个Python 2笔记本，起名为topic-model。

为了处理表格数据，我们依然使用数据框工具Pandas。先调用它。
import pandas as pd
然后读入我们的数据文件datascience.csv，注意它的编码是中文GB18030，不是Pandas默认设置的编码，所以此处需要显式指定编码类型，以免出现乱码错误。
df = pd.read_csv("datascience.csv", encoding='gb18030')
我们来看看数据框的头几行，以确认读取是否正确。
df.head()
显示结果如下：

没问题，头几行内容所有列都正确读入，文字显式正常。我们看看数据框的长度，以确认数据是否读取完整。
df.shape
执行的结果为：
(1024, 3)
行列数都与我们爬取到的数量一致，通过。
下面我们需要做一件重要工作——分词。这是因为我们需要提取每篇文章的关键词。而中文本身并不使用空格在单词间划分。

我们首先调用jieba分词包。
import jieba
我们此次需要处理的，不是单一文本数据，而是1000多条文本数据，因此我们需要把这项工作并行化。这就需要首先编写一个函数，处理单一文本的分词。
def chinese_word_cut(mytext):
return " ".join(jieba.cut(mytext))
有了这个函数之后，我们就可以不断调用它来批量处理数据框里面的全部文本（正文）信息了。你当然可以自己写个循环来做这项工作。
下面这一段代码执行起来，可能需要一小段时间。请耐心等候。
df["content_cutted"] = df.content.apply(chinese_word_cut)
执行过程中可能会出现如下提示。没关系，忽略就好。
Building prefix dict from the default dictionary ...
Loading model from cache /var/folders/8s/k8yr4zy52q1dh107gjx280mw0000gn/T/jieba.cache
Loading model cost 0.406 seconds.
Prefix dict has been built succesfully.
执行完毕之后，我们需要查看一下，文本是否已经被正确分词。
df.content_cutted.head()