博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
教你如何用Python爬虫获取今日头条上面三千美女图
阅读量:4594 次
发布时间:2019-06-09

本文共 688 字,大约阅读时间需要 2 分钟。

想问大家一个问题啊,大家学习Python爬虫的动力是什么呀?

下面是我们有些同学的回答:

1 .Python爬虫学好了,我可以找一个高薪的工作。

2 .我学习编程希望能够为社会做贡献(手动滑稽)

3 .为了姑娘!(很直白的回答哈!)

.....

总结了一些同学的回答,结论大多是爬取一切自己想看想了解的事情和人(姑娘)!果然还是姑娘让我们这些码农有动力啊!

今天咱们就是爬取今日头条,你要问我为什么要爬取今日头条?是因为爱嘛?

是因为责任嘛?

不,是因为头条里面的有很多美女图片,然后我们可以把她们都爬取下来!!!

是不是想想都觉得很兴奋,是不是都要流鼻血了?!

下面我们要做的就是用Python爬虫把上面的图片给爬下来。

开始分析网站

按下f 12,然后点击network,刷新下你可以看到这些

在网页上可以看到图片会随着你下拉网页而进行显示更多的图片。

今日头条的网站是动态加载的,其实可以很轻松的就可以在xhr的文件里面找到。

不断地发送请求,点击这个请求看看是返回什么数据

可以看到这是个json,里面有图片的url,这个就是我们要找的东西。

我们可以用json库来解析,还有这个网站是get请求,这样就可以用requests库来发送然后解析下就可以了,非常简单。

代码:需要完整的代码可以关注后私信【爬取头条】即可获取

最后给你们看下结果

文章中如果有哪些地方如有错误或者不足,欢迎在留言区指出,欢迎大家的监督。更多相关的Python爬虫教程也会继续为大家更新!

转载于:https://juejin.im/post/5d4bd3095188256f672b92bc

你可能感兴趣的文章
JAVA array,map 转 json 字符串
查看>>
2017-12-27练习
查看>>
NET设计规范(二) 命名规范
查看>>
VMware 9.0.1安装Mac OS X Mountain Lion 10.8.2
查看>>
SSL延迟
查看>>
android新手关于左右滑动的问题,布局把<android.support.v4.view.ViewPager/><ImageView/> 放在上面就不行了。...
查看>>
深入理解DIP、IoC、DI以及IoC容器
查看>>
赋值文件
查看>>
Vue 数组 字典 template v-for 的使用
查看>>
蓝牙模块选择经验谈
查看>>
java中==和equals
查看>>
CCActionPageTurn3D
查看>>
python random
查看>>
esp32-智能语音-cli(调试交互命令)
查看>>
netty与MQ使用心得
查看>>
关于dl dt dd 文字过长换行在移动端显示对齐的探讨总结
查看>>
swoolefy PHP的异步、并行、高性能网络通信引擎内置了Http/WebSocket服务器端/客户端...
查看>>
Python学习笔记
查看>>
unshift()与shift()
查看>>
使用 NPOI 、aspose实现execl模板公式计算
查看>>