尚硅谷_Flink实时数仓3.0-阿里云盘下载
课程介绍
Flink实时数仓项目3.0,依托于真实电商巨头的电商体系和实际业务场景,并参照离线数仓的建模理论全力打造。新版项目重磅升级,在延续实用与硬核的基础上,升级了实时数仓的建模理论,建模体系更完善,数据分析更高效。
项目采用Flink作为核心的实时计算引擎,充分利用Flink的优秀特性:状态编程、自定义处理函数、CEP、CDC等,对每一个指标的计算提供了基础API和Flink SQL两种实现方式。使用Maxwell作为业务数据采集框架,实时监控业务数据库变动情况。同时,充分探讨了多种大数据框架工具,如Redis、HBase、ClickHouse等,利用每个框架的特点发挥效用。
通过本套教程的学习,你将掌握企业实际开发过程中实时数仓的全流程搭建,深入理解Flink的高阶应用,掌握开发环节的多种框架技术!Flink实时数仓项目3.0与电商数仓5.0项目(即将发布)无缝对接,采用相同的数据源及数据采集体系,便于系统性学习。
教程内容涵盖:
搭建用户行为数据的实时数据采集框架Flume-Kafka-Flink;采用Maxwell搭建业务数据采集体系;使用Flink CDC结合配置表、HBase完成数仓DIM层的搭建;参照数仓建模理论,分层搭建实时数仓,包括DWD层、DWS层、ADS层;使用SpringBoot编写数据接口,结合Sugar完成实时指标结果数据的可视化展示等。
教程关键技术点:
数仓架构深入讲解、离线架构与实时架构对比分析、SpringBoot项目搭建讲解、Flink CDC深入案例分析、使用侧输出流分流操作、Flink与HBase交互、Flink状态编程应用、Flink CEP循环模式匹配、双流Join、旁路缓存、异步IO编码、ClickHouse多引擎讲解、Flink SQL、数据可视化接口编写、Flink实战优化方案等。
视频目录
001.尚硅谷_Flink实时数仓3.0-实时数仓-课程简介
002.尚硅谷_Flink实时数仓3.0-数仓概念-数仓简介
003.尚硅谷_Flink实时数仓3.0-数仓概念-数据分类
004.尚硅谷_Flink实时数仓3.0-数仓概念-数仓总体介绍
005.尚硅谷_Flink实时数仓3.0-数仓概念-项目需求分析
006.尚硅谷_Flink实时数仓3.0-数仓概念-技术选型
007.尚硅谷_Flink实时数仓3.0-数仓概念-系统数据流程
008.尚硅谷_Flink实时数仓3.0-数仓概念-框架版本的选择
009.尚硅谷_Flink实时数仓3.0-数仓概念-具体版本号选择
010.尚硅谷_Flink实时数仓3.0-数仓概念-服务器选型
011.尚硅谷_Flink实时数仓3.0-数仓概念-集群规模
012.尚硅谷_Flink实时数仓3.0-数仓概念-集群资源规划
013.尚硅谷_Flink实时数仓3.0-同步行为数据模拟-埋点简介
014.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-用户行为日志内容
015.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-埋点日志格式
016.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-克隆三台服务器
017.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-阿里云准备(备选)
018.尚硅谷_Flink实时数仓3.0-用户行为数据模拟-集群同步脚本
评论0