传智播客旗下高端IT在线教育平台|咨询热线:010-56288220

返回顶部 返回列表
919 6

[猩球计划] 【有奖参与】豆瓣网数据抓取和可视化数据绘图项目点评贴

[复制链接]

61

主题

92

帖子

500

积分

超级版主

谷子老师

Rank: 8Rank: 8

积分
500
9196 谷子老师 发表于 2018-1-4 12:24:38
本帖最后由 18603661315 于 2018-1-9 14:56 编辑

【Python爬虫】豆瓣网数据抓取和可视化数据绘图
图帮主_765223_1764440.jpg

小伙伴们,经过一段时间的学习,有没有能够独立完成项目呢?上传你的作品,获得讲师点评~
以下两个实战,赶紧来试试吧!不准偷偷看源码有机会获得博学谷精心准备的奖品哟~


实战项目1:
按照微课课程,爬取豆瓣电视剧。
要求:
1、能正确分析得到那个url可以提取电视剧数据
理解提取url的过程
2、能正确分析分类之间url的规律
1111.png
3、能正确提取获取的json数据
4、把提取的数据存入MongoDB

——————————————————我是分割线—————————————————————


实战项目2:
         按照微课课程,把从豆瓣中提取的豆瓣电视剧数据从monggodb中提取出来做数据分析并绘图
要求:
   1、可以正确的从mogodb提取电视剧数据
         理解使用python对monggo的操作
   2、要求对提取出来的电视剧数据进行数据分析并绘制成图要求如下:

2.1 要求对不同电视剧进行分类统计 结果如图
211111.png.jpg

2.2 要求对不同时间段的电视剧数据进行统计 绘图效果如下:
222222.png.jpg

2.3 要求对不同国家电视剧数量随时间的一个变化进行统计 绘图效果如下:
333333.png.jpg



【参与方式】   



          在作业完成的项目的过程中,亲们一定遇到了不少的问题,可以在QQ班级群中交流讨论哟~
当独立完成就会有大大的成就感,想分享自己的成果吗?赶快评论下方回帖哟,上传附件参加评选!


            点评时间 2018年1月5日—— 2018年1月12日   
(ps:只要在这期间上传项目才能获得老师的点评哟~)

【奖品设置】
QQ图片20180105110453.png


【评判标准】
           回帖可见

     
游客,如果您要查看本帖隐藏内容请回复

【课程链接】
                  在学习过程中有疑问的小伙伴, 欢迎加入班级群学习交流讨论 QQ群号: 459774956       
            

【获奖公示】
             回帖即可查看
游客,如果您要查看本帖隐藏内容请回复

【源码下载】
         获奖公示见~

本活动最终解释权归博学谷所有
回复

24

主题

46

帖子

331

积分

中级会员

Bravian

Rank: 3Rank: 3

积分
331
Bravian 发表于 2018-1-5 11:08:19
哇哦,什么奖励,好期待
回复

1

主题

5

帖子

33

积分

新手上路

bleedyao

Rank: 1

积分
33
bleedyao 发表于 2018-1-9 08:44:47
怎么提交项目?
回复

61

主题

92

帖子

500

积分

超级版主

谷子老师

Rank: 8Rank: 8

积分
500
 楼主| 谷子老师 发表于 2018-1-9 10:15:12
bleedyao 发表于 2018-1-9 08:44
怎么提交项目?

直接回复本帖,上传附件即可哈~
回复

1

主题

5

帖子

33

积分

新手上路

bleedyao

Rank: 1

积分
33
bleedyao 发表于 2018-1-11 11:34:02
提交实战1

douban_tv.zip

2.79 KB, 下载次数: 79

实战1

回复

0

主题

1

帖子

10

积分

新手上路

python-孙老师

Rank: 1

积分
10
python-孙老师 发表于 2018-1-16 16:31:34

    代码已经完成了豆瓣数据的提取,包括了数据获取链接的提取(获取数据链接的url规则),豆瓣数据的爬取,以及爬取下来的json数据进行分析提取,以及数据的存储。整个功能都已经实现,里面也添加了相应的容错处理,做的很好,值的表扬,也把整个代码面向过程化。     接下来说下里面二个个小问题:
         问题一件图片附件
         爬取的时候最好有一个随机的时间休眠,如果爬取太快可能被封。


1.png
回复

1

主题

5

帖子

33

积分

新手上路

bleedyao

Rank: 1

积分
33
bleedyao 发表于 2018-1-17 14:05:03
python-孙老师 发表于 2018-1-16 16:31
代码已经完成了豆瓣数据的提取,包括了数据获取链接的提取(获取数据链接的url规则),豆瓣数据的爬 ...

谢谢孙老师,确实被封过两回,这个地方我在改改
回复

您需要登录后才可以回帖 登录 | 立即注册