課程目標(biāo)：

flink培訓(xùn)課程
課程大綱：

第一章 Flink簡介

01.Flink的引入

02.什么是Flink

03.Flink流處理特性

04.Flink基石

05.批處理與流處理

第二章 Flink架構(gòu)體系

01.Flink中重要角色

02.無界數(shù)據(jù)流與有界數(shù)據(jù)流

03.Flink數(shù)據(jù)流編程模型

04.Libraries支持

第三章 Flink集群搭建

01.環(huán)境準(zhǔn)備工作

02.local模式

03.Standalone集群模式

04.Standalone-HA集群模式

05.Flink On Yarn模式-介紹

06.Flink On Yarn模式-準(zhǔn)備工作

07.Flink On Yarn模式-提交方式-Session會話模式

08.Flink On Yarn模式-提交方式-Job分離模式

09. Flink運行架構(gòu)-Flink程序結(jié)構(gòu)

10. Flink運行架構(gòu)-Flink并行數(shù)據(jù)流

11. Flink運行架構(gòu)-Task和Operator chain

12. Flink運行架構(gòu)-任務(wù)調(diào)度與執(zhí)行

13. Flink運行架構(gòu)-任務(wù)槽與槽共享

第四章 Dataset開發(fā)

01.入門案例

02.入門案例-構(gòu)建工程、log4j.properties

03.入門案例-代碼運行yarn模式運行

04.DataSource-基于集合

05.DataSource-基于文件

06.Transformation開發(fā)

07.Datasink-基于集合

08.Datasink-基于文件

09.執(zhí)行模式-本地執(zhí)行

10.執(zhí)行模式-集群執(zhí)行

11.廣播變量

12.累加器

13.分布式緩存

14.擴展并行度的設(shè)置

第五章 DataStream開發(fā)

01.入門案例-流處理流程

02.入門案例-示例、參考代碼

03.流處理常見Datasource

04.Datasource基于集合

05.Datasource基于文件

06.Datasource基于網(wǎng)絡(luò)套接字

07.Datasource-自定義source-SourceFunction

08.Datasource-自定義source-ParallelSourceFunction

09.Datasource-自定義source-RichParallelSourceFunction

10.Datasource-自定義source-MysqlSource

11.Datasource-自定義source-KafkaSource

12.DataStream-transformations

13.DataSink-輸出數(shù)據(jù)到本地文件

14.DataSink-輸出數(shù)據(jù)到本地集合

15.DataSink-輸出數(shù)據(jù)到HDFS

16.DataSink-輸出數(shù)據(jù)到mysql,kafka,Redis

第六章 Flink中Window

01.為什么需要window

02.什么是window

03.Flink支持的窗口劃分方式

04.Time-window之tumbling-time-window

05.Time-window之sliding-time-window

06.Time-window之session-window

07.Count-window之tumbling-count-window

08.Count-window之sliding-count-window

09.window-Apply函數(shù)

第七章 Eventime-watermark

01.時間分類

02.watermark之?dāng)?shù)據(jù)延遲產(chǎn)生

03.watermark之解決數(shù)據(jù)延遲到達(dá)

04.watermark綜合案例

05.watermark之?dāng)?shù)據(jù)丟失

06.watermark+側(cè)道輸出保證數(shù)據(jù)不丟失

第八章 Flink狀態(tài)管理

01.狀態(tài)管理概述之無狀態(tài)計算

02.狀態(tài)管理概述之有狀態(tài)計算

03.狀態(tài)管理概述之有狀態(tài)計算場景

04.狀態(tài)的類型之Managed State&Raw State

05.狀態(tài)的類型之Keyed State&Operator State

06.API演示之ValueState

07.API演示之MapState

08.案例之OperatorState

09.案例之BroadcastState

第九章 Flink容錯&重啟策略

01.checkpoint是什么

02.checkpoint執(zhí)行流程

03.checkpoint持久化存儲

04.案例之checkpoint設(shè)置演示

05.Flink重啟策略之重啟策略配置

06.案例之重啟策略演示

07.Savepoint與checkpoint區(qū)別

08.案例之savepoint演示

09.端到端一致性語義解釋

10.案例之kafka實現(xiàn)EndToEnd一致性語義

11.案例之Mysql實現(xiàn)EndToEnd一致性語義

第十章 Flink擴展_異步IO_反壓_內(nèi)存管理

01.異步IO之使用前提

02.異步IO之核心API Async IO

03.案例之異步IO案例

04.什么是反壓問題

05.Flink如何解決反壓問題

06.Flink內(nèi)存管理

07.定制化內(nèi)存管理

08.定制化序列化框架

09.使用堆外內(nèi)存

第十一章 Flink-sql開發(fā)

01.Flink sql背景

02.sql常用算子之select

03.sql常用算子之where

04.sql常用算子之distinct

05.sql常用算子之group by

06.sql常用算子之union_union all

07.sql常用算子之join

08.sql常用算子之group window

09.案例之批處理sql案例

10.案例之流處理sql案例

?