Python爬虫:爬取到的数据插入到execl中

2019-03-15 08:14:34 织梦安装使用
  • 文章介绍
逆水寒 极客技术栈


编程互联

学习编程技术,关注这个公众号足够了

 


本文已经过公众号Python绿色通道授权发布


假设我们把大量数据已经爬取到了本地,但这些数据如果不存储起来,那么就会变得无效。开始本文之前,请确保你有一定的爬虫基础了。


我们已经把数据爬到本地并已经插入execl,上效果图



操作Execl其实里面很多东西要去了解,但这里我讲常用的读写,满足我们的一般需求,感兴趣的朋友可以自己去深入。

1、读execl文件

需要安装 xlrd库,老办法,直接在setting中安装,然后导入放可使用python读取execl

操作这样的execl列表

# coding=utf-8

import xlrd

data = xlrd.open_workbook(execl_file.xlsx)
table = data.sheets()[0]    #通过索引顺序获取table, 一个execl文件一般都至少有一个table
print table.nrows   #行数
print table.ncols   #列数

for k in range(table.nrows):    #遍历行数据
   print table.row_values(k)

for i in range(table.ncols):    #便利列数据
   print table.col_values(i)

print table.cell(2,2).value     #获取单元格数据,前一个是行数,从0开始,后一个是列数,且列数从0开始

for a in range(1,table.nrows):        #行数据,我正好要去掉第1行标题
   for b in range(table.ncols):
         print table.cell(a,b).value  
   print ----------------------

得到结果:

6
4
[uu54c1u724c, usize, uu4ef7u683c, uu6027u522b]
[uNike, 90.0, 1033.0, uu7537]
[uaddida, 88.0, 444.0, uu5973]
[uzara, 87.0, 333.0, uu7537]
[uLining, 33.0, 22.0, uu7537]
[ukappa, 33.0, 222.0, uu7537]
[uu54c1u724c, uNike, uaddida, uzara, uLining, ukappa]
[usize, 90.0, 88.0, 87.0, 33.0, 33.0]
[uu4ef7u683c, 1033.0, 444.0, 333.0, 22.0, 222.0]
[uu6027u522b, uu7537, uu5973, uu7537, uu7537, uu7537]
444.0
Nike
90.0
1033.0

----------------------
addida
88.0
444.0

----------------------
zara
87.0
333.0

----------------------
Lining
33.0
22.0

----------------------
kappa
33.0
222.0

----------------------

很简单没有什么要解释的,复习一下range函数

# >>> range(1,5) #代表从1到5(不包含5)
# [1, 2, 3, 4]
# >>> range(1,5,2) #代表从1到5,间隔2(不包含5)
# [1, 3]
# >>> range(5) #代表从0到5(不包含5)
# [0, 1, 2, 3, 4]
2、写excel文件

需要安装xlwt库,老办法自己先安装,不多说了,需要导入xlwt然后放可使用python写入数据

workbook = xlwt.Workbook(encoding=utf-8)#创建workbook 其实就是execl,
worksheet = workbook.add_sheet(my_worksheet) #创建表,如果想创建多个,直接在后面再add_sheet
worksheet.write(0,0,label =Row 0,Column 0 Value)         #3个参数,第一个参数表示行,从0开始,第二个参数表示列从0开始,第三个参数表示插入的数值
workbook.save(execl_liu.xlsx)        #写完记得一定要保存

完整实例代码

f = xlwt.Workbook() #创建工作薄
#创建个人信息表
sheet1 = f.add_sheet(u个人信息,cell_overwrite_ok=True)
rowTitle = [u编号,u姓名,u性别,u年龄]
rowDatas = [[u张一,u男,u18],[u李二,u女,u20],[u黄三,u男,u38],[u刘四,u男,u88]]


for i in range(0,len(rowTitle)):
   sheet1.write(0,i,rowTitle[i],set_style(Times new Roman,220,True)) 后面是设置样式

for k in range(0,len(rowDatas)):    #先遍历外层的集合,即每行数据
   rowDatas[k].insert(0,k+1)   #每一行数据插上编号即为每一个人插上编号
   for j in range(0,len(rowDatas[k])): #再遍历内层集合
       sheet1.write(k+1,j,rowDatas[k][j])          #写入数据,k+1表示先去掉标题行,另外每一行数据也会变化,j正好表示第一列数据的变化,rowdatas[k][j] 插入数据


#创建个人收入表
sheet1 = f.add_sheet(u个人收入表,cell_overwrite_ok=True)
rowTitle2 = [u编号,u姓名,u学历,u工资]
rowDatas2 = [[u张一,u本科,u8000],[u李二,u硕士,u10000],[u黄三,u博士,u20000],[u刘四,u教授,u50000]]

for i in range(0,len(rowTitle2)):
   sheet1.write(0,i,rowTitle2[i])

for k in range(0,len(rowDatas2)):    #先遍历外层的集合
   rowDatas2[k].insert(0,k+1)   #每一行数据插上编号即为每一个人插上编号
   for j in range(0,len(rowDatas2[k])): #再遍历内层集合
       sheet1.write(k+1,j,rowDatas2[k][j])          #写入数据,k+1表示先去掉标题行,另外每一行数据也会变化,j正好表示第一列数据的变化,rowdatas[k][j] 插入数据

f.save(info.xlsx)

最后得到的效果图

3. 把爬取的猪八戒数据插入到execl中

这里直接上代码了,相关的注释都在代码里

# coding=utf-8

import requests
import time
import xlwt
import xlrd
from lxml import etree

class ZbjData(object):

def __init__(self):
    self.f = xlwt.Workbook()   #创建工作薄
    self.sheet1 = self.f.add_sheet(u任务列表,cell_overwrite_ok=True)
    self.rowsTitle = [u编号,u标题,u简介,u价格,u截止时间,u链接]
    for i in range(0, len(self.rowsTitle)):
       self.sheet1.write(0, i, self.rowsTitle[i], self.set_style(Times new Roman, 220, True))

    self.f.save(zbj.xlsx)

def set_style(self,name, height, bold=False):
       style = xlwt.XFStyle()  # 初始化样式
       font = xlwt.Font()  # 为样式创建字体
       font.name = name
       font.bold = bold
       font.colour_index = 2
       font.height = height
       style.font = font
       return style

def getUrl(self):
   for i in range(33):
       url = http://task.zbj.com/t-ppsj/p{}s5.html.format(i+1)
       self.spiderPage(url)

def spiderPage(self,url):
   if url is None:
       return None

   try:
       data = xlrd.open_workbook(zbj.xlsx)
       table = data.sheets()[0]  # 通过索引顺序获取table, 一个execl文件一般都至少有一个table
       rowCount = table.nrows      #获取行数   ,下次从这一行开始
       proxies = {
           http: http://221.202.248.52:80,
       }
       user_agent = Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4295.400

       headers = {User-Agent: user_agent}
       htmlText = requests.get(url, headers=headers,proxies=proxies).text

       selector = etree.HTML(htmlText)
       tds = selector.xpath(//*[@class="tab-switch tab-progress"]/table/tr)
       m = 0
       for td in tds:
            data = []
            price = td.xpath(./td/p/em/text())
            href = td.xpath(./td/p/a/@href)
            title = td.xpath(./td/p/a/text())
            subTitle = td.xpath(./td/p/text())
            deadline = td.xpath(./td/span/text())
            price = price[0] if len(price)>0 else    # python的三目运算 :为真时的结果 if 判定条件 else 为假时的结果
            title = title[0] if len(title)>0 else
            href = href[0] if len(href)>0 else
            subTitle = subTitle[0] if len(subTitle)>0 else
            deadline = deadline[0] if len(deadline)>0 else

           #拼装成一个集合
            data.append(rowCount+m)    #加个序号
            data.append(title)
            data.append(subTitle)
            data.append(price)
            data.append(deadline)
            data.append(href)

            for i in range(len(data)):
                self.sheet1.write(rowCount+m,i,data[i])    #写入数据到execl中

            m+=1   #记录行数增量
            print m
            print price, title, href, subTitle, deadline

   except Exception,e:
       print 出错,e.message

   finally:
       self.f.save(zbj.xlsx)


if _main_:
   zbj = ZbjData()
   zbj.getUrl()

最后的效果图是:

注意这里爬取数据的时候,有的代理ip还是被禁用了,所以获取数据有失败的情况,所以这里需要有异常处理 。

当然数据还应该存入到数据库中,所以下一篇我们会来讲讲如何把数据插入到数据库中。

广而告之:这边说一下,如果有人愿意投稿技术文章,我都会帮忙宣传一下原作者的公众号,简书,掘金,个人网站等等链接都可以,『编程互联』愿意成为一个为大家宣传自己优秀博文或者项目的公众号,这样做对你对我对于公众号的读者来说都有帮助,希望大家的投稿,想要投稿的,欢迎加小编的微信号:li85798867 ,记得备注:投稿 ,才会通过好友请求!

作者的原创公众号『Python绿色通道』



热门阅读:

1. 程序员知识星球正式开放了
2.
 一大波免费编程视频资源来袭
3. 推荐个神器免费解析VIP会员视频

喜欢这篇文章,欢迎点赞+转发 ~~

文章转载自公众号

Python绿色通道 Python绿色通道

    发送中

    上一篇: python爬虫案例——百度贴吧数据采..

    下一篇: 快速构建App界面的框架 —— Salut..

    相关文档推荐

    精品模板推荐

     2020-04-10   22255  0金币下载

     2020-04-10   22249  0金币下载

     2020-04-10   22253  0金币下载

     2020-04-10   22252  0金币下载

     2020-03-22   28905  0金币下载

    专业的织梦模板定制下载站,在线购买后即可下载!

    商业源码

    跟版网模板,累计帮助5000+客户企业成功建站,为草根创业提供助力!

    立刻开启你的建站之旅
    
    QQ在线客服

    服务热线

    织梦建站咨询