通过前面的知识点了解,我们知道了爬虫时需要使用的一些库与方法,但是我们在进行数据爬取之后还需要对数据进行存储,所以接下来的这篇文章小编就来与大家讲解一下对python爬虫进行数据存储的方法,希望能帮助到大家更好的学习。
想要对数据进行存储,我们就需要了解到一个新的模块,为pymysql,通过这个模块就可以完美的实现数据的存储。在使用这个模块之前就需要先确保自己的电脑上安装了数据库工具,随后使用方法对这个数据库进行连接,当然在此之前还需要对数据库中新建一个专门存放数据的库。
我们想要连接上这个数据库,我们就可以使用模块中的connect()函数来进行,使用的基本格式为以下这样:
db = pymysql.connect('localhost','root','passwd','test')
其中的第一个参数所指的就是本地的数据库服务端的地址,当然也可以对远程数据库的IP地址进行连接。第二个参数就为用户名,第三个参数为所设置的连接密码,最后一个就为数据库的名称。
对数据库进行连接之后就需要创建一个对象来承接,随后就使用执行函数来对数据库执行,注意的一点就是使用完数据库以后还需要及时的将数据库进行关闭。
通过上面的讲解,我们就来看具体的操作过程,代码如下所示:
import pymysql db = pymysql.connect('localhost','root','66666','testdb')cursor = db.cursor() info_list = ['apple','red','num'] sql = 'insert into movieinfo values(%s,%s,%s)' cursor.execute(sql,info_list) db.commit() cursor.close() db.close()
以上就是关于python中爬虫实现数据存储的方法,现在大家就不妨试着来操作一下吧。