传智播客旗下高端IT在线教育平台|咨询热线:010-56288220

返回顶部 返回列表
376 0

[人工智能专区] 精简的网络爬虫程序-实现简直没难度! (2)

[复制链接]

11

主题

12

帖子

57

积分

注册会员

闹旅

Rank: 2

积分
57
3760 闹旅 发表于 2017-6-29 14:19:50
本帖最后由 闹旅 于 2017-6-29 14:22 编辑

之前我们已经简单的介绍了爬虫的基本概念和URL的基本知识。

那么我们就可以综合以上两点实现一个灰常简单的百度贴吧小爬虫。




四、百度贴吧小爬虫


首先我们创建一个python文件, tieba_spider.py
我们要完成的是,输入一个百度贴吧的地址,比如
LOL吧第一页:http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0

这个是lol吧的第一页的url地址,如果打开第二页,你会发现他的url如下:
第二页:
http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50
第三页:
http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100

发现规律了吧,贴吧中每个页面不同,url出来最后的pn的值,其余的都是一样的,我们可以抓住这个规律
简单写一个小爬虫程序,来爬取百度LOL吧的所有网页。

上一节我们已经写出一个爬取一个网页的代码



现在,我们将它封装成一个小函数load_page,供我们使用。



接下来,我们写一个百度贴吧爬虫接口,我们需要传递3个参数给这个接口,
一个是我们要爬取的url地址,和要爬取页码的范围。



最后如果我们希望将爬取到了每页的信息存储在本地磁盘上,我们可以简单写一个存储文件的接口。



ok,接下来就是写一个main函数吧,然后提示用户输入即将爬取的百度贴吧url地址。(注意:百度贴吧最后页码"pn=???"中的???为我们传入的页码参数,所以我们再提供的时候不能包括???



综上, 全部完整代码应该如下:

  • # -*- coding: utf-8 -*-
  • #-------------------------
  • # 百度贴吧小爬虫
  • # 作者:无崖子
  • # 日期:2016-3-2
  • # sys:  mac os
  • #   python 2.7.6
  • #   os: mac
  • #-------------------------
  • import urllib2
  • # -------------------------------------------
  • ##
  • # @brief  将字符串内容写到文件中
  • #
  • # @param file_name      文件路径
  • # @param text           要写进的字符串
  • #
  • # @returns
  • # -------------------------------------------
  • def write_file(file_name, text):
  •     print '正在存储文件' + file_name
  •     f = open(file_name, 'w+')
  •     f.write(text)
  •     f.close()
  • # -------------------------------------------
  • ##
  • # @brief  通过URL请求爬取到html静态页面源代码
  • #
  • # @param url   要爬取的url地址
  • #
  • # @returns
  • #           源代码
  • # -------------------------------------------
  • def load_page(url):
  •     req = urllib2.Request(url)
  •     response = urllib2.urlopen(req)
  •     html = response.read()
  •     return html
  • def tieba_spider(url, begin_page, end_page):
  •     user_agent = 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;' #IE 9.0
  •     headers = {'User-Agent':user_agent}
  •     for i in range(begin_page, end_page+1):
  •         #根据百度贴吧的url中的页码pn规律
  •         # 当你打开第一页 pn = 0
  •         # 当你打开第二页 pn = 50
  •         # 当你打开第三页 pn = 100
  •         # 当你打开第四页 pn = 150 -0
  •         # ....
  •         # 所以 pn = 50* (page-1)
  •         pn = 50 * (i - 1)
  •         html = load_page(url+str(pn))
  •         file_name = str(i) +'.html'
  •         print '正在下载第' + str(i) + '个网页'
  •         write_file(file_name, html)
  • if __name__ == '__main__':
  •     bdurl = str(raw_input('请输入贴吧的地址, 去掉pn=后面的数字:'))
  •     begin_page = int(raw_input('请输入开始的页数'))
  •     end_page = int(raw_input('请输入结束的页数'))
  •     tieba_spider(bdurl, begin_page, end_page)


[color=rgb(51, 51, 51) !important]复制代码


好了,最后我们测试一下,咱们的小爬虫。



输入lol吧的url地址 " http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn= "
(注意=号后面不要加数字,因为我们要自动添加)

最后会发现当前路径下会有几个html页面,分别对应贴吧中对应的网页。

这样一个简单的爬虫程序就搞定了,是不是quit easy。




回复

您需要登录后才可以回帖 登录 | 立即注册