离线+实时全栈数仓项目教程-智数电商

〖课程介绍〗:

离线+实时全栈数仓项目教程-智数电商(19.19G)

离线+实时全栈数仓项目教程-智数电商

〖课程目录〗:
P1.【离线-day1】01-课程目标
P2.【离线-day1】02-电商行业与电商系统介绍
P3.【离线-day1】03-数仓项目整体技术架构介绍
P4.【离线-day1】04-数仓项目架构-kylin补充
P5.【离线-day1】05-数仓具体技术介绍与项目环境介绍
P6.【离线-day1】06-kettle的介绍与安装
P7.【离线-day1】07-kettle的入门案例
P8.【离线-day1】08-kettle输入组件之json输入与表输入
P9.【离线-day1】09-kettle输入组件之生成记录组件
P10.【离线-day1】10-kettle输出组件之文本文件输出
P11.【离线-day1】11-kettle输出组件之表输出插入更新删除组件
P12.【离线-day1】12-kettle整合hadoop
P13.【离线-day1】13-kettle-hadoopfileinput组件
P14.【离线-day1】14-kettle-hadoopfileoutput组件
P15.【离线-day1】15-kettle整合hive
P16.【离线-day1】16-kettle-hive表输入组件
P17.【离线-day1】17-kettle-hive表输出组件
P18.【离线-day1】18-kettle执行hivesql组件
P19.【离线-day1】19-kettle转换组件之值映射增加序列字段选择
P20.【离线-day1】20-kettle流程控件-switchcase组件
P21.【离线-day1】21-kettle流程控件-过滤记录组件
P22.【离线-day1】22-kettle连接组件
P23.【离线-day1】23-kettle的作业介绍
P24.【离线-day1】24-kettle-转换命名参数
P25.【离线-day1】25-linux部署kettle
P26.【离线-day1】26-pansh执行转换任务
P27.【离线-day1】27-kitchensh执行转换任务
P28.【离线-day2】01-课程目标与课程内容介绍
P29.【离线-day2】02-数仓维度建模设计
P30.【离线-day2】03-数仓为什么分层
P31.【离线-day2】04-数仓分层思想和作用
P32.【离线-day2】05-数仓中表的分类和同步策略
P33.【离线-day2】06-数仓中表字段介绍以及表关系梳理
P34.【离线-day2】07-项目环境初始化
P35.【离线-day2】08-缓慢变化维问题以及常见解决方案
P36.【离线-day2】09-商品案例-每日全量采集方案
P37.【离线-day2】10-每日全量案例实现
P38.【离线-day2】11-拉链表技术介绍
P39.【离线-day2】12-拉链表技术实现-第一次导入数据到拉链表
P40.【离线-day2】13-拉链表技术实现–历史数据更新
P41.【离线-day2】14-拉链表技术实现-新增数据插入以及合并
P42.【离线-day2】15-商品维度数据第一次全量导入拉链表
P43.【离线-day2】16-商品维度数据第二次增量导入
P44.【离线-day2】17-周期性事实表同步操作
P45.【离线-day2】18-其余表增量抽取
P46.【离线-day3】01-今日课程内容和课程目标
P47.【离线-day3】02-订单时间维度指标需求分析
P48.【离线-day3】03-使用kettle生成日期维度数据
P49.【离线-day3】04-订单指标时间维度分析–每个季度
P50.【离线-day3】05-订单指标时间维度-每个月-每个周-休息日节假日工作日
P51.【离线-day3】06-订单指标区域维度和分类维度需求分析
P52.【离线-day3】07-店铺区域维度数据拉宽
P53.【离线-day3】08-商品分类表维度数据拉宽
P54.【离线-day3】09-事实表维度数据拉宽操作
P55.【离线-day3】10-全国无商品分类维度指标统计
P56.【离线-day3】11-全国一级商品分类维度指标开发
P57.【离线-day3】12-大区二级商品分类维度指标统计
P58.【离线-day3】13-用户订单行为指标需求分析
P59.【离线-day3】14-ETL处理-订单时间标志宽表处理
P60.【离线-day3】15-用户订单行为指标开发一
P61.【离线-day3】16-指标开发第二部分
P62.【离线-day3】17-指标开发第四部分
P63.【离线-day3】18-创建ads层指标表存储数据
P64.【离线-day4】01-今日课程目标与课程内容介绍
P65.【离线-day4】02-网站流量日志获取方式介绍
P66.【离线-day4】03-埋点js自定义采集原理分析
P67.【离线-day4】04-网站流量日志-flume采集
P68.【离线-day4】05-flume采集核心配置介绍
P69.【离线-day4】06-flume采集程序启动验证
P70.【离线-day4】07-flume采集输出hdfs目录分析
P71.【离线-day4】08-flume自定义拦截器代码编写
P72.【离线-day4】09-flume自定义拦截器启动验证
P73.【离线-day4】10-ETL处理pageview-visit模型介绍及实现思路
P74.【离线-day4】11-ETL处理-创建hive表接收ETL处理后数据
P75.【离线-day4】12-ETL处理代码-普通版本-数据清洗过滤实现
P76.【离线-day4】13-ETL处理代码-普通版本-pageview模型实现
P77.【离线-day4】14-ETL处理代码-visit模型以及程序运行验证
P78.【离线-day4】15-ETL处理代码-数据倾斜解决思路
P79.【离线-day4】16-ETL处理代码-数据倾斜版本-rangepartitioner均匀分区实现
P80.【离线-day4】17-ETL处理代码-数据倾斜版本-第一次生成sessionid
P81.【离线-day4】18-ETL处理代码-数据倾斜版本-使用累加器修复分区边界
P82.【离线-day4】19-ETL处理代码-数据倾斜版本-边界修复验证
P83.【离线-day4】20-ETL处理代码-数据倾斜版本-最终实现以及验证
P84.【离线-day5】01-今日课程目标与课程内容介绍
P85.【离线-day5】02-生成明细表数据
P86.【离线-day5】03-流量分析常见指标-基础级-复合级指标
P87.【离线-day5】04-常见流量分析模型
P88.【离线-day5】05-基础级指标统计
P89.【离线-day5】06-基础级指标多维统计分析
P90.【离线-day5】07-复合指标统计
P91.【离线-day5】08-分组topn问题-开窗函数
P92.【离线-day5】09-受访分析
P93.【离线-day5】10-访客分析
P94.【离线-day5】11-访客visit分析
P95.【离线-day5】12-数据导出
P96.【离线-day5】13-工作流调度和实现方式
P97.【离线-day5】14-数据导出脚本编写-第一部分
P98.【离线-day5】15-数据导出脚本编写-第二部分
P99.【离线-day5】16-增量抽取数据脚本编写
P100.【离线-day5】17-flume启动停止脚本与数据预处理脚本
P101.【离线-day5】18-ETL以及指标计算脚本编写
P102.【离线-day5】19-azkaban定时调度job编写
P103.【离线-day6】01今日课程目标与课程内容介绍
P104.【离线-day6】02-kylin简介以及应用场景
P105.【离线-day6】03-kylin的优势以及数据流程图
P106.【离线-day6】04-kylin的安装
P107.【离线-day6】05-kylin入门案例
P108.【离线-day6】06-kylin入门案例结果验证
P109.【离线-day6】07-kylin入门案例-多张表
P110.【离线-day6】08-kylin入门案例-一张事实表多张维度表
P111.【离线-day6】09-kylin维度和度量以及cube与cuboid
P112.【离线-day6】10-kylin工作原理-技术架构
P113.【离线-day6】11-kylin全量构建与增量构建介绍
P114.【离线-day6】12-增量构建model准备
P115.【离线-day6】13-kylin中cube增量构建演示
P116.【离线-day6】14-kylin增量构建restapi方式
P117.【离线-day6】15-kylin碎片管理-手动合并
P118.【离线-day6】16-kylin碎片管理-手动删除segment
P119.【离线-day6】17-kylin碎片管理自动合并策略及案例
P120.【离线-day6】18-kylin自动保留策略以及案例
P121.【离线-day6】19-jdbc方式查询kylin
P122.【离线-day7】01-kylincube优化-确定cuboid数量与cubesize
P123.【离线-day7】02-cube优化-衍生维度
P124.【离线-day7】03-cube优化-聚合组
P125.【离线-day7】04-cube调优案例
P126.【离线-day7】05-kylin接入数仓开发
P127.【离线-day7】06-apache superset简介
P128.【离线-day7】07-superset的安装
P129.【离线-day7】08-superset入门案例
P130.【离线-day7】09-superset菜单功能介绍
P131.【离线-day7】10-superset订单案例实战
P132.【离线-day7】11-superset dashboard实战
P133.【离线-day7】12-superset的权限控制
P134.【离线-day7】13-superset业务开发
P135.01.【实时数仓-day01】课程目标
P136.02.【实时数仓-day01】实时计算应用场景和技术选型
P137.03.【实时数仓-day01】项目实施环境
P138.04.【实时数仓-day01】需求分析介绍
P139.05.【实时数仓-day01】常见的软件工程模型
P140.06.【实时数仓-day01】实施方案
P141.07.【实时数仓-day01】实时数仓的整体架构
P142.08.【实时数仓-day01】canal的介绍
P143.09.【实时数仓-day01】canal的安装部署
P144.10.【实时数仓-day01】canal的客户端代码编写
P145.11.【实时数仓-day01】canal的客户端测试
P146.12.【实时数仓-day01】potobuf数据格式化的引入
P147.13.【实时数仓-day01】protobuf的介绍及环境初始化
P148.14.【实时数仓-day01】protobuf的使用
P149.15.【实时数仓-day01】protobuf整合canalClient
P150.16.【实时数仓-day01】mysql的主备原理
P151.17.【实时数仓-day01】canal的工作原理及架构
P152.18.【实数数仓-day01】canal的工作原理-客户端和服务端交互协议以及组件介绍
P153.19.【实时数仓-day01】canal的工作原理EventStore
P154.20.【实时数仓-day01】canal的工作原理Eventparser
P155.01.【实时数仓-day02】课程目标
P156.02.【实时数仓-day02】canal服务端的ha设置及演示
P157.03.【实时数仓-day02】canal客户端的ha配置
P158.04.【实时数仓-day02】项目开发-环境初始化
P159.05.【实时数仓-day02】项目开发-canal客户端-环境初始化
P160.06.【实时数仓-day02】项目开发-canal客户端-核心代码编写
P161.07.【实时数仓-day02】项目开发-canal客户端-自定义序列化
P162.08.【实时数仓-day02】项目开发-canal客户端-binlog的protobuf序列化实现
P163.09.【实时数仓-day02】项目开发-canal客户端-将binlog日志使用protobuf序列化后写入kafka集群
P164.10.【实时数仓-day02】项目开发-实时ETL-环境初始化
P165.11.【实时数仓-day02】项目开发-实时ETL-Flink流式计算程序的初始化
P166.12.【实时数仓-day02】项目开发-实时ETL-根据数据来源封装ETL基类
P167.01.【实时数仓-day03】课程目标
P168.02.【实时数仓-day03】实时ETL-Flink程序解析Kafka中的ProtoBuf
P169.03.【实时数仓-day03】实时ETL-维度数据的样例类定义
P170.04.【实时数仓-day03】实时ETL-维度数据的全量装载
P171.05.【实时数仓-day03】实时ETL-维度数据的增量更新
P172.06.【实时数仓-day03】实时ETL-点击流日志ETL引入logparsing框架介绍
P173.07.【实时数仓-day03】实时ETL-点击流日志ETLlogparsing官方案例介绍
P174.08.【实时数仓-day03】实时ETL-点击流日志ETLlogparsing入门案例
P175.09.【实时数仓-day03】实时ETL-点击流日志ETLlogparsing框架应用到点击流日志样例类中
P176.01.【实时数仓-day04】课程目标
P177.02.【实时数仓-day04】实时ETL-点击流ETL-定义拉宽后的点击流对象样例类
P178.03.【实时数仓-day04】实时ETL-点击流ETL-实时拉宽实现方案
P179.04.【实时数仓-day04】实时ETL-点击流ETL-点击流日志转换成对象
P180.05.【实时数仓-day04】实时ETL-点击流ETL-将点击流对象转换成拉宽后的点击流对象
P181.06.【实时数仓-day04】实时ETL-点击流ETL-将拉宽后的点击流对象写入到kafka集群
P182.07.【实时数仓-day04】实时ETL-点击流ETL-阶段总结
P183.08.【实时数仓-day04】实时ETL-订单ETL-订单实时ETL业务开发
P184.08.【实时数仓-day04】实时ETL-订单明细ETL-订单明细实时ETL需求分析
P185.09.【实时数仓-day04】实时ETL-订单明细ETL-订单明细样例类定义
P186.10.【实时数仓-day04】实时ETL-订单明细ETL-订单明细异步请求关联维度表数据
P187.11.【实时数仓-day04】实时ETL-订单明细ETL-异步IO的原理
P188.12.【实时数仓-day04】实时ETL-订单明细ETL-将订单明细数据写入到kafka集群
P189.13.【实时数仓-day04】实时ETL-订单明细ETL-订单明细实时ETL到hbase并测试
P190.14.【实时数仓-day04】实时ETL-商品数据ETL-商品表数据实时拉宽写入到kafka集群
P191.15.【实时数仓-day04】实时ETL-购物车数据ETL-购物车数据实时拉宽写入到kafka集群
P192.16.【实时数仓-day04】实时ETL-评论数据ETL-评论数据实时拉宽写入到kafka集群
P193.17.【实时数仓-day04】实时ETL-导入数据模拟生成器
P194.01.【实时数仓-day05】课程目标
P195.02.【实时数仓-day05】Phoenix的介绍
P196.03.【实时数仓-day05】Phoenix的安装部署
P197.04.【实时数仓-day05】Phoenix的入门案例
P198.05.【实时数仓-day05】Phoenix创建与Hbase的映射
P199.06.【实时数仓-day05】使用Phoenix构建二级索引加快查询效率
P200.07.【实时数仓-day05】Phoenix-使用订单明细创建Phoenix映射表并jdbc连接Phoenix
P201.08.【实时数仓-day05】Flink的程序优化
P202.09.【实时数仓-day05】Druid的介绍
P203.10.【实时数仓-day05】Druid的安装和部署
P204.11.【实时数仓-day05】Druid-Druid的入门案例
P205.12.【实时数仓-day05】Druid-Druid的摄取本地文件案例
P206.13.【实时数仓-day05】Druid-Druid的摄取HDFS文件案例
P207.14.【实时数仓-day05】Druid-Druid的摄取Kafka流式数据案例
P208.15.【实时数仓-day05】Druid-Druid的摄取配置文件格式说明
P209.16.【实时数仓-day05】Druid-Druid的数据查询
P210.01.【实时数仓-day06】课程目标
P211.02.【实时数仓-day06】Druid-jdbc操作Druid
P212.03.【实时数仓-day06】Druid-点击流日志指标分析
P213.04.【实时数仓-day06】Druid-订单数指标分析
P214.05.【实时数仓-day06】导入数据可视化项目模块
P215.06.【实时数仓-day06】Druid的架构和原理-索引服务介绍
P216.07.【实时数仓-day06】Druid的架构和原理-存储服务和查询服务节点介绍
P217.08.【实时数仓-day06】Druid的架构和原理-Druid数据存储
P218.09.【实时数仓-day06】superset的介绍
P219.10.【实时数仓-day06】superset的安装部署
P220.11.【实时数仓-day06】superset的入门案例
P221.12.【实时数仓-day06】Mysql订单分析案例
P222.13.【实时数仓-day06】superset的权限介绍
P223.14.【实时数仓-day06】superset的自定义角色