抓取汽车之家百万数据
课程简介
前面介绍了几种爬虫的分类,这里我们使用聚焦网络爬虫,抓取汽车之家上的汽车评测数据。可以参考下面链接:https://www.autohome.com.cn/bestauto
抓取评测数据过程如下:
1. 根据url抓取html页面
2. 对html页面进行解析,获取该页面所有的评测数据
3. 遍历所有的评测数据
4. 判断遍历的评测数据是否已保存,
如果已保存再次遍历下一条评测数据
如果未保存执行下一步
5. 保存评测数据到数据库中
0人已评分
我也要评分