JavaEEHTML&JS+前端大数据人工智能开发Python+数据分析UI/UE设计软件测试新媒体+短视频直播运营产品经理C/C++Linux云计算+运维开发拍摄剪辑+短视频制作PMP项目管理认证电商运营Go语言与区块链PHP工程师iOSAndroid+物联网.NET

零基础学习Hadoop3.0-HDFS从入门到精通 (2021贺岁篇)

  • 初级

  • 试看21节

  • 3521人学习

课程须知

1500分钟学会HDFS操作,掌握HDFS原理,理解HDFS深入源码: 1. 了解大数据导论,掌握Hadoop环境搭建 2. 理解HDFS入门与应用开发 3. 掌握HDFS数据存储和数据管理...

下载完整视频

提取码: j2p9

收藏课程 获取资料

分享

  1. 课程介绍
  2. 课程目录
  3. 课程评论

讲解方式:

本课程采用由浅入深,层递进的讲解方式, 让你轻松掌握HDFS的使用, HDFS的原理,最后通过HDFS源码深入掌握HDFS。


课程亮点:

1,课程由浅到深,由原理到实践,适合零基础入门学习。

2,结合实际案例,培养解决实际问题的能力。


课程内容:

1. 了解大数据基础理论,掌握Hadoop介绍与安装

2. HDFS的引入,HDFS应用开发

3. HDFS基本操作命令

4. HDFS数据存储和数据管理

5. 理解HDFS架构原理

6. 理解HDFS源码


适用人群:

1、零基础小白,有计算机基础即可。

2、希望掌握Hadoop3.0新版本相关特性,目前职业有进一步提升要求,希望从事数据行业高薪工作的在职人员。

3、对数据行业感兴趣的相关人员。

4、大数据行业有持续兴趣的人员。


基础课程主讲内容包括:

阶段一:大数据导论与Hadoop介绍安装

1. 大数据概念介绍

2. 大数据应用场景

3. 大数据分析步骤

4. 大数据部门架构

5. 分布式概念

6. 负载均衡、故障转移、伸缩性

7. Hadoop发展过程

8. Hadoop发行版本

9.Hadoop源码编译及集群搭建

10. Hadoop初体验及基准测试


阶段二: HDFS入门与应用开发

1. 了解硬盘,RAID磁盘阵列

2. 了解存储架构类型

3. 文件系统,特点,分类

4. 海量数据场景下传统存储面临的问题

5. 如何模拟实现分布式文件存储系统

6. HDFS简介及发展

7. HDFS应用场景及主从架构

8. HDFS shellAPI

9. HDFS的JavaAPI操作

10. HDFS的舆情数分析上报-需求分析

11. HDFS的舆情数分析上报-数据采集

12. HDFS的舆情数分析上报-数据上传

13. HDFS的舆情数分析上报-程序执行



阶段三. 数据存储与数据管理

1. HDFS客户端概述

2. HDFSREST客户端-WebHDFS介绍和使用

3. HDFS网关代理服务

4. HDFS文件存储格式-传统常见的文件存储格式

5. HDFS文件存储格式-行式存储和列式存储

6. HDFS文件存储格式-丰富的存储格式-ORC,Parquet

7. HDFS文件存储格式-Apache Arrow列式内存数据结构

8. HDFS文件存储格式-块存储类型选择策略

9. HDFS异构存储-lazy persist懒持久流程

10.HDFS异构案例-银行转账冷热分层



阶段四. HDFS集群管理和运维

1. HDFS数据迁移-使用场景

2. HDFSNAMENODE安全模式

3. HDFS高阶优化方案-短路本地读取

4. HDFS高阶优化方案-节点block负载平衡器

5. HDFS DISK Balancer应用及原理

6. HDFS Erasure Coding纠错码介绍和原理

7. HDFS 动态节点管理-节点上线和下线

8. HDFS 动态阶段管理-黑白名单

9. HDFS HA-QJM方案-如何解决数据同步问题

10.HDFS HA-QJM方案-集群搭建

11. HDFS 联邦Federation联邦机制

12. HDFS集群滚动升级和回滚操作

阶段五:HDFS架构原理

1. HDFS架构剖析-架构整体概述

2. HDFS架构剖析-集群角色介绍

3. HDFS架构剖析-重要特性-主从-主备-分片-副本

4. HDFS读写流程-写流程核心概念

5. HDFS读写流程-写数据流程

6. HDFS读写流程-读数据流程

7. HDFS-NAMENODE元数据管理-文件系统元数据存储类型

8. HDFS-NAMENODE元数据管理-相关存储目录

9. HDFS-NAMENODE元数据管理-元数据信息查看

10. SequenceFile 序列化文件格式

11. SequenceFile 小文件合并

12. HDFS小文件方案-HadoopArchive

阶段六:HDFS数据安全与隐私保护

1. HDFS Trash垃圾桶-文件系统垃圾桶

2. HDFS Trash垃圾桶-操作,介绍及使用

3. HDFS Snapshot快照--功能和实现

4. HDFS Snapshot快照--操作命令与实操

5. HDFS权限管理-认证,授权,审计与权限管理

6. HDFS权限管理-UGO权限管理与权限掩码

7. HDFS权限管理-使用命令与权限修改

8. HDFS权限管理-用户身份认证

9. HDFS权限管理-组映射管理

10. HDFS权限管理-ACL权限管理

11. HDFS透明加密-加密解密流程,KMS服务配置与启动

阶段七:HDFS核心源码分析

1. HDFS源码编译-IDEA中Debug功能介绍与快捷键使用

2. HDFS源码编译-如何进行源码编译

3. HDFS源码编译-Linux平台编译

4. HDFS源码编译-了解如何在windows平台编译

5. HDFS源码工程结构简介

6. HDFS核心源码解读-IDEA中Debug功能介绍与快捷键使用

7. HDFS核心源码解读-客户端核心类-Configuration

8. HDFS核心源码解读-客户端核心类-FileSysterm

9. HDFS核心源码解读-RPC协议介绍与HadoopRPC接口介绍

10. HDFS核心源码解读-读写原理流程源码分析


更多章节请下载完整视频观看 >>
综合评分 5.0

1人已评分

我也要评分

评论打分
你觉得老师讲的怎么样?

评论字数不能超过100字,还剩 个字符

发表评价

如枫的爱

视频不全

0

2021-01-19 08:26