优草派  >   Python

python爬虫如何实现数据存储?python如何进行数据存储?

王涵            来源:优草派

通过前面的知识点了解,我们知道了爬虫时需要使用的一些库与方法,但是我们在进行数据爬取之后还需要对数据进行存储,所以接下来的这篇文章小编就来与大家讲解一下对python爬虫进行数据存储的方法,希望能帮助到大家更好的学习。

python爬虫如何实现数据存储?python如何进行数据存储?

想要对数据进行存储,我们就需要了解到一个新的模块,为pymysql,通过这个模块就可以完美的实现数据的存储。在使用这个模块之前就需要先确保自己的电脑上安装了数据库工具,随后使用方法对这个数据库进行连接,当然在此之前还需要对数据库中新建一个专门存放数据的库。

我们想要连接上这个数据库,我们就可以使用模块中的connect()函数来进行,使用的基本格式为以下这样:

db = pymysql.connect('localhost','root','passwd','test')

其中的第一个参数所指的就是本地的数据库服务端的地址,当然也可以对远程数据库的IP地址进行连接。第二个参数就为用户名,第三个参数为所设置的连接密码,最后一个就为数据库的名称。

对数据库进行连接之后就需要创建一个对象来承接,随后就使用执行函数来对数据库执行,注意的一点就是使用完数据库以后还需要及时的将数据库进行关闭。

通过上面的讲解,我们就来看具体的操作过程,代码如下所示:

import pymysql
db = pymysql.connect('localhost','root','66666','testdb')cursor = db.cursor()
info_list = ['apple','red','num']
sql = 'insert into movieinfo values(%s,%s,%s)'
cursor.execute(sql,info_list)
db.commit()
cursor.close()
db.close()

以上就是关于python中爬虫实现数据存储的方法,现在大家就不妨试着来操作一下吧。

【原创声明】凡注明“来源:优草派”的文章,系本站原创,任何单位或个人未经本站书面授权不得转载、链接、转贴或以其他方式复制发表。否则,本站将依法追究其法律责任。