180分钟学会爬虫入门:
1. 了解什么是爬虫
2. 掌握requests库的使用
3. 掌握BeautifulSoup解析库提取数据
4. 掌握正则表达式提取数据
5. 掌握是用json模块处理json格式数据
6. 掌握疫情爬虫项目的实现
7. 了解疫情数据可视化
课程亮点:
1,课程由浅到深,由原理到实践,适合零基础入门学习。
2,结合实际案例,培养解决实际问题的能力。
课程内容:
1. 网络爬虫概述
2. requests请求库
3. BeautifulSoup解析库
4. 正则表达式
5. json模块
6. 疫情爬虫项目
7. 疫情数据可视化介绍
适用人群:
1、对爬虫感兴趣的在校生及应届毕业生。
2、对目前职业有进一步提升要求,希望从事数据行业高薪工作的在职人员。
3、对数据行业感兴趣的相关人员。
课程目录介绍
基础课程主讲内容包括:
阶段一:网络爬虫概述
1. 网络爬虫与浏览器的区别
2. 网络爬虫的概念
阶段二: requests请求库
1. requests介绍与安装
2. requests基本使用
3. 案例: 请求疫情首页
阶段三. BeautifulSoup解析库
1. BeautifulSoup介绍与安装
2. BeautifulSoup对象介绍与创建
3. BeautifulSoup对象的find方法
4. 案例: 从疫情首页提前各国最新的疫情数据
阶段四: 正则表达式
1. 正则表达式的概念与作用
2. 正则表达式的常见语法
3. re.findall() 方法
4. 正则表达式中的r原串的使用
5. 案例: 提取最新的疫情数据的json字符串
阶段五: json模块
1. json模块介绍
2. json 转换为 python
3. python 转换为 json
4. 案例: 解析最新的疫情数据的json字符串
阶段六: 疫情爬虫项目
1. 实现 采集最近一日世界各国疫情数据
2. 实现 采集从01月23日以来的世界各国疫情数据
3. 实现 采集最近一日全国各省疫情数据
4. 实现 采集从01月23日以来全国各省疫情数据
5. 重构 爬虫项目代码
阶段七: 疫情数据可视化
1. 近一日世界各国疫情数据可视化
2. 从01月23日以来的世界各国疫情数据可视化
3. 最近一日全国各省疫情数据可视化
4. 从01月23日以来全国各省疫情数据可视化
5人已评分
我也要评分
2022-12-23 14:43
第15节json格式写入出错问题,打开文件代码增加为:with open('last_day_date.json','w',encoding='utf-8') as fp:可以解决
12021-02-19 21:54
第九章text = script.text 输出text无结果问题,代码改成text = script.string ,可以解决
22021-02-19 15:57
请问老师为什么第九节的text = script.text然后print(text)结果什么都没有显示。但是直接print(script)可以完整打印。
82020-08-23 06:32
老师讲的非常好
02020-08-10 13:56