更新日期:2022.05.20
课程简介:
通过大数据技术架构,解决工业物联网制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目主要基于Hive数仓分层来存储各个业务指标数据,基于sparkSQL做数据分析。核心业务涉及运营商、呼叫中心、工单、油站、仓储物料。
讲解方式:
真项目真实站。让有经验的工程师也能有所收获
本视频主要面向的群体是:
* 有Python基础
* 有Hadoop生态体系基础
* 有Spark基础
* 想要更加深入学习大数据内存计算相关知识、并掌握实战项目开发
课程亮点:
一站制造项目基石与前瞻、数据仓库建模方法 离线数仓分层、Sqoop数据存采集、数仓ODS&DWD层建设、数仓DWS维度层建设、数仓DWB指标层建设、数仓ST主题层建设、一站制造任务调度、Prometheus概述 实现linux服务器监控 实现MySQL服务监控 实现Flink服务监控 Grafana监控看板。一站制造:运营ciss系统、oa系统、erp系统一体化智能制造大数据分析系统
课程内容:
1.使用主流的Hive+Spark构建离线数仓
2.基于完整的工业业务背景实现的离线和实时大数据业务丰富地地图展示可视化开发
3.基于Airflow完成大数据调度任务
4.学会使用Spark SQL处理复杂业务完整的离线采集 + 实时采集方案
5.掌握如何使用调度平台调度T+1批处理任务Spark离线任务和实时任务整合,统一由YARN做资源管理
Slogan:
通过项目实战强化Spark技术构建企业级大数据平台能力
0人已评分
我也要评分