Java人工智能+Pythonweb前端UI/UE设计PHP+H5全栈工程师C/C++大数据新媒体软件测试产品经理电商运营网络安全+运维Go语言与区块链拍摄剪辑+短视频制作PMP项目管理认证iOSAndroid+物联网.NET

大数据教程flink从入门到精通

  • 中级

  • 试看8节

  • 5354人学习

课程须知

了解Flink,了解集群环境搭建运维,学习Flink中重要概念、原理和API的用法,通过知识点 + 案例教学法帮助小白快速掌握Flink。...

下载完整视频

提取码: zdsz

收藏课程 获取资料

分享

  1. 课程介绍
  2. 课程目录
  3. 课程评论

课程亮点:

1,知识体系完备,从小白到大神各阶段读者均能学有所获。

2,生动形象,化繁为简,讲解通俗易懂。

3,结合工作实践及分析应用,培养解决实际问题的能力。

4,每一块知识点, 都有配套案例, 学习不再迷茫。


课程内容:

1、Flink框架简介

2、Flink集群搭建运维

3、Flink Dataset开发

4、Flink 广播变量,分布式缓存,累加器

5、Flink Datastream开发

6、Flink Window操作

7、Flink watermark与侧道输出

8、Flink状态计算

9、Flink容错checkpoint与一致性语义 

10、Flink进阶 异步IO,背压,内存管理

11、Flink Table API与SQL


适用人群:

1、对实时计算领域或者Flink感兴趣的在校生及应届毕业生。

2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。

3、对大数据行业感兴趣的相关人员。


课程目录介绍

第一章 Flink简介

01.Flink的引入

02.什么是Flink

03.Flink流处理特性

04.Flink基石

05.批处理与流处理


第二章 Flink架构体系

01.Flink中重要角色

02.无界数据流与有界数据流

03.Flink数据流编程模型 

04.Libraries支持


第三章 Flink集群搭建


01.环境准备工作

02.local模式

03.Standalone集群模式

04.Standalone-HA集群模式

05.Flink On Yarn模式-介绍

06.Flink On Yarn模式-准备工作

07.Flink On Yarn模式-提交方式-Session会话模式

08.Flink On Yarn模式-提交方式-Job分离模式            

09. Flink运行架构-Flink程序结构                                                                                                                                                                              

10. Flink运行架构-Flink并行数据流                                                                                                                                                                                           

11. Flink运行架构-Task和Operator chain                                                                                                                                                                         

12. Flink运行架构-任务调度与执行                                                                                                                                                                                    

13. Flink运行架构-任务槽与槽共享


第四章 Dataset开发

01.入门案例

02.入门案例-构建工程、log4j.properties

03.入门案例-代码运行yarn模式运行

04.DataSource-基于集合

05.DataSource-基于文件

06.Transformation开发

07.Datasink-基于集合

08.Datasink-基于文件

09.执行模式-本地执行

10.执行模式-集群执行

11.广播变量

12.累加器

13.分布式缓存

14.扩展并行度的设置



第五章 DataStream开发


01.入门案例-流处理流程

02.入门案例-示例、参考代码

03.流处理常见Datasource

04.Datasource基于集合

05.Datasource基于文件

06.Datasource基于网络套接字

07.Datasource-自定义source-SourceFunction

08.Datasource-自定义source-ParallelSourceFunction

09.Datasource-自定义source-RichParallelSourceFunction

10.Datasource-自定义source-MysqlSource

11.Datasource-自定义source-KafkaSource

12.DataStream-transformations

13.DataSink-输出数据到本地文件

14.DataSink-输出数据到本地集合

15.DataSink-输出数据到HDFS

16.DataSink-输出数据到mysql,kafka,Redis


第六章 Flink中Window

01.为什么需要window

02.什么是window

03.Flink支持的窗口划分方式

04.Time-window之tumbling-time-window

05.Time-window之sliding-time-window

06.Time-window之session-window

07.Count-window之tumbling-count-window

08.Count-window之sliding-count-window

09.window-Apply函数


第七章 Eventime-watermark

01.时间分类

02.watermark之数据延迟产生

03.watermark之解决数据延迟到达

04.watermark综合案例

05.watermark之数据丢失

06.watermark+侧道输出保证数据不丢失


第八章 Flink状态管理

01.状态管理概述之无状态计算

02.状态管理概述之有状态计算

03.状态管理概述之有状态计算场景

04.状态的类型之Managed State&Raw State

05.状态的类型之Keyed State&Operator State

06.API演示之ValueState

07.API演示之MapState

08.案例之OperatorState

09.案例之BroadcastState


第九章 Flink容错&重启策略

01.checkpoint是什么

02.checkpoint执行流程

03.checkpoint持久化存储

04.案例之checkpoint设置演示

05.Flink重启策略之重启策略配置

06.案例之重启策略演示

07.Savepoint与checkpoint区别

08.案例之savepoint演示

09.端到端一致性语义解释

10.案例之kafka实现EndToEnd一致性语义

11.案例之Mysql实现EndToEnd一致性语义


第十章 Flink扩展_异步IO_反压_内存管理

01.异步IO之使用前提

02.异步IO之核心API Async IO 

03.案例之异步IO案例

04.什么是反压问题

05.Flink如何解决反压问题

06.Flink内存管理

07.定制化内存管理

08.定制化序列化框架

09.使用堆外内存



第十一章 Flink-sql开发

01.Flink sql背景

02.sql常用算子之select

03.sql常用算子之where

04.sql常用算子之distinct

05.sql常用算子之group by

06.sql常用算子之union_union all

07.sql常用算子之join

08.sql常用算子之group window

09.案例之批处理sql案例

10.案例之流处理sql案例


综合评分 5.0

0人已评分

我也要评分

评论打分
你觉得老师讲的怎么样?

评论字数不能超过100字,还剩 个字符

发表评价