课程简介

以一个实际的数仓指标为需求，在大规模集群环境下，进行千亿级别数据量的任务测试。全程实操，以真实企业中的开发流程进行任务测试。

课程亮点

1，大规模集群调优（150台服务器）、千亿级别数据量的规模

2，全程实操，以需求为目标，逐步实现。

3，贴近真实企业开发的工作流程。

4，基于AWS云平台实现，学习如何在云上实践大数据。

适用人群

1、对大数据技术感兴趣的在校生及应届毕业生。

2、Hadoop从业者，希望进一步提升个人技能，拓展职业路线。

3、对大数据行业感兴趣的相关人员。

4、对AWS云平台感兴趣的相关人员。

课程内容

1-集群创建和参数设置

2-配置集群监控

3-准备数据

4-提交任务准备dw层数据

5-数据倾斜的解决方法

6-最终指标统计

7-补充-不解决数据倾斜问题的任务演示

8-集群规模预览