离线+实时全栈数仓项目-智数电商

P1.【离线-day1】01-课程目标

P2.【离线-day1】02-电商行业与电商系统介绍

P3.【离线-day1】03-数仓项目整体技术架构介绍

P4.【离线-day1】04-数仓项目架构-kylin补充

P5.【离线-day1】05-数仓具体技术介绍与项目环境介绍

P6.【离线-day1】06-kettle的介绍与安装

P7.【离线-day1】07-kettle的入门案例

P8.【离线-day1】08-kettle输入组件之json输入与表输入

P9.【离线-day1】09-kettle输入组件之生成记录组件

P10.【离线-day1】10-kettle输出组件之文本文件输出

P11.【离线-day1】11-kettle输出组件之表输出插入更新删除组件

P12.【离线-day1】12-kettle整合hadoop

P13.【离线-day1】13-kettle-hadoopfileinput组件

P14.【离线-day1】14-kettle-hadoopfileoutput组件

P15.【离线-day1】15-kettle整合hive

P16.【离线-day1】16-kettle-hive表输入组件

P17.【离线-day1】17-kettle-hive表输出组件

P18.【离线-day1】18-kettle执行hivesql组件

P19.【离线-day1】19-kettle转换组件之值映射增加序列字段选择

P20.【离线-day1】20-kettle流程控件-switchcase组件

P21.【离线-day1】21-kettle流程控件-过滤记录组件

P22.【离线-day1】22-kettle连接组件

P23.【离线-day1】23-kettle的作业介绍

P24.【离线-day1】24-kettle-转换命名参数

P25.【离线-day1】25-linux部署kettle

P26.【离线-day1】26-pansh执行转换任务

P27.【离线-day1】27-kitchensh执行转换任务

P28.【离线-day2】01-课程目标与课程内容介绍

P29.【离线-day2】02-数仓维度建模设计

P30.【离线-day2】03-数仓为什么分层

P31.【离线-day2】04-数仓分层思想和作用

P32.【离线-day2】05-数仓中表的分类和同步策略

P33.【离线-day2】06-数仓中表字段介绍以及表关系梳理

P34.【离线-day2】07-项目环境初始化

P35.【离线-day2】08-缓慢变化维问题以及常见解决方案

P36.【离线-day2】09-商品案例-每日全量采集方案

P37.【离线-day2】10-每日全量案例实现

P38.【离线-day2】11-拉链表技术介绍

P39.【离线-day2】12-拉链表技术实现-第一次导入数据到拉链表

P40.【离线-day2】13-拉链表技术实现–历史数据更新

P41.【离线-day2】14-拉链表技术实现-新增数据插入以及合并

P42.【离线-day2】15-商品维度数据第一次全量导入拉链表

P43.【离线-day2】16-商品维度数据第二次增量导入

P44.【离线-day2】17-周期姓事实表同步操作

P45.【离线-day2】18-其余表增量抽取

P46.【离线-day3】01-今日课程内容和课程目标

P47.【离线-day3】02-订单时间维度指标需求分析

P48.【离线-day3】03-使用kettle生成日期维度数据

P49.【离线-day3】04-订单指标时间维度分析–每个季度

P50.【离线-day3】05-订单指标时间维度-每个月-每个周-休息日节假日工作日

P51.【离线-day3】06-订单指标区域维度和分类维度需求分析

P52.【离线-day3】07-店铺区域维度数据拉宽

P53.【离线-day3】08-商品分类表维度数据拉宽

P54.【离线-day3】09-事实表维度数据拉宽操作

P55.【离线-day3】10-全国无商品分类维度指标统计

P56.【离线-day3】11-全国一级商品分类维度指标开发

P57.【离线-day3】12-大区二级商品分类维度指标统计

P58.【离线-day3】13-用户订单行为指标需求分析

P59.【离线-day3】14-ETL处理-订单时间标志宽表处理

P60.【离线-day3】15-用户订单行为指标开发一

P61.【离线-day3】16-指标开发第二部分

P62.【离线-day3】17-指标开发第四部分

P63.【离线-day3】18-创建ads层指标表存储数据

P64.【离线-day4】01-今日课程目标与课程内容介绍

P65.【离线-day4】02-网站流量日志获取方式介绍

P66.【离线-day4】03-埋点js自定义采集原理分析

P67.【离线-day4】04-网站流量日志-flume采集

P68.【离线-day4】05-flume采集核心配置介绍

P69.【离线-day4】06-flume采集程序启动验证

P70.【离线-day4】07-flume采集输出hdfs目录分析

P71.【离线-day4】08-flume自定义拦截器代码编写

P72.【离线-day4】09-flume自定义拦截器启动验证

P73.【离线-day4】10-ETL处理pageview-visit模型介绍及实现思路

P74.【离线-day4】11-ETL处理-创建hive表接收ETL处理后数据

P75.【离线-day4】12-ETL处理代码-普通版本-数据清洗过滤实现

P76.【离线-day4】13-ETL处理代码-普通版本-pageview模型实现

P77.【离线-day4】14-ETL处理代码-visit模型以及程序运行验证

P78.【离线-day4】15-ETL处理代码-数据倾斜解决思路

P79.【离线-day4】16-ETL处理代码-数据倾斜版本-rangepartitioner均匀分区实现

P80.【离线-day4】17-ETL处理代码-数据倾斜版本-第一次生成sessionid

P81.【离线-day4】18-ETL处理代码-数据倾斜版本-使用累加器修复分区边界

P82.【离线-day4】19-ETL处理代码-数据倾斜版本-边界修复验证

P83.【离线-day4】20-ETL处理代码-数据倾斜版本-最终实现以及验证

P84.【离线-day5】01-今日课程目标与课程内容介绍

P85.【离线-day5】02-生成明细表数据

P86.【离线-day5】03-流量分析常见指标-基础级-复合级指标

P87.【离线-day5】04-常见流量分析模型

P88.【离线-day5】05-基础级指标统计

P89.【离线-day5】06-基础级指标多维统计分析

P90.【离线-day5】07-复合指标统计

P91.【离线-day5】08-分组topn问题-开窗函数

P92.【离线-day5】09-受访分析

P93.【离线-day5】10-访客分析

P94.【离线-day5】11-访客visit分析

P95.【离线-day5】12-数据导出

P96.【离线-day5】13-工作流调度和实现方式

P97.【离线-day5】14-数据导出脚本编写-第一部分

P98.【离线-day5】15-数据导出脚本编写-第二部分

P99.【离线-day5】16-增量抽取数据脚本编写

P100.【离线-day5】17-flume启动停止脚本与数据预处理脚本

P101.【离线-day5】18-ETL以及指标计算脚本编写

P102.【离线-day5】19-azkaban定时调度job编写

P103.【离线-day6】01今日课程目标与课程内容介绍

P104.【离线-day6】02-kylin简介以及应用场景

P105.【离线-day6】03-kylin的优势以及数据流程图

P106.【离线-day6】04-kylin的安装

P107.【离线-day6】05-kylin入门案例

P108.【离线-day6】06-kylin入门案例结果验证

P109.【离线-day6】07-kylin入门案例-多张表

P110.【离线-day6】08-kylin入门案例-一张事实表多张维度表

P111.【离线-day6】09-kylin维度和度量以及cube与cuboid

P112.【离线-day6】10-kylin工作原理-技术架构

P113.【离线-day6】11-kylin全量构建与增量构建介绍

P114.【离线-day6】12-增量构建model准备

P115.【离线-day6】13-kylin中cube增量构建演示

P116.【离线-day6】14-kylin增量构建restapi方式

P117.【离线-day6】15-kylin碎片管理-手动合并

P118.【离线-day6】16-kylin碎片管理-手动删除segment

P119.【离线-day6】17-kylin碎片管理自动合并策略及案例

P120.【离线-day6】18-kylin自动保留策略以及案例

P121.【离线-day6】19-jdbc方式查询kylin

P122.【离线-day7】01-kylincube优化-确定cuboid数量与cubesize

P123.【离线-day7】02-cube优化-衍生维度

P124.【离线-day7】03-cube优化-聚合组

P125.【离线-day7】04-cube调优案例

P126.【离线-day7】05-kylin接入数仓开发

P127.【离线-day7】06-apache superset简介

P128.【离线-day7】07-superset的安装

P129.【离线-day7】08-superset入门案例

P130.【离线-day7】09-superset菜单功能介绍

P131.【离线-day7】10-superset订单案例实战

P132.【离线-day7】11-superset dashboard实战

P133.【离线-day7】12-superset的权限控制

P134.【离线-day7】13-superset业务开发

P135.01.【实时数仓-day01】课程目标

P136.02.【实时数仓-day01】实时计算应用场景和技术选型

P137.03.【实时数仓-day01】项目实施环境

P138.04.【实时数仓-day01】需求分析介绍

P139.05.【实时数仓-day01】常见的软件工程模型

P140.06.【实时数仓-day01】实施方案

P141.07.【实时数仓-day01】实时数仓的整体架构

P142.08.【实时数仓-day01】canal的介绍

P143.09.【实时数仓-day01】canal的安装部署

P144.10.【实时数仓-day01】canal的客户端代码编写

P145.11.【实时数仓-day01】canal的客户端测试

P146.12.【实时数仓-day01】potobuf数据格式化的引入

P147.13.【实时数仓-day01】protobuf的介绍及环境初始化

P148.14.【实时数仓-day01】protobuf的使用

P149.15.【实时数仓-day01】protobuf整合canalClient

P150.16.【实时数仓-day01】mysql的主备原理

P151.17.【实时数仓-day01】canal的工作原理及架构

P152.18.【实数数仓-day01】canal的工作原理-客户端和服务端交互协议以及组件介绍

P153.19.【实时数仓-day01】canal的工作原理EventStore

P154.20.【实时数仓-day01】canal的工作原理Eventparser

P155.01.【实时数仓-day02】课程目标

P156.02.【实时数仓-day02】canal服务端的ha设置及演示

P157.03.【实时数仓-day02】canal客户端的ha配置

P158.04.【实时数仓-day02】项目开发-环境初始化

P159.05.【实时数仓-day02】项目开发-canal客户端-环境初始化

P160.06.【实时数仓-day02】项目开发-canal客户端-核心代码编写

P161.07.【实时数仓-day02】项目开发-canal客户端-自定义序列化

P162.08.【实时数仓-day02】项目开发-canal客户端-binlog的protobuf序列化实现

P163.09.【实时数仓-day02】项目开发-canal客户端-将binlog日志使用protobuf序列化后写入kafka集群

P164.10.【实时数仓-day02】项目开发-实时ETL-环境初始化

P165.11.【实时数仓-day02】项目开发-实时ETL-Flink流式计算程序的初始化

P166.12.【实时数仓-day02】项目开发-实时ETL-根据数据来源封装ETL基类

P167.01.【实时数仓-day03】课程目标

P168.02.【实时数仓-day03】实时ETL-Flink程序解析Kafka中的ProtoBuf

P169.03.【实时数仓-day03】实时ETL-维度数据的样例类定义

P170.04.【实时数仓-day03】实时ETL-维度数据的全量装载

P171.05.【实时数仓-day03】实时ETL-维度数据的增量更新

P172.06.【实时数仓-day03】实时ETL-点击流日志ETL引入logparsing框架介绍

P173.07.【实时数仓-day03】实时ETL-点击流日志ETLlogparsing官方案例介绍

P174.08.【实时数仓-day03】实时ETL-点击流日志ETLlogparsing入门案例

P175.09.【实时数仓-day03】实时ETL-点击流日志ETLlogparsing框架应用到点击流日志样例类中

P176.01.【实时数仓-day04】课程目标

P177.02.【实时数仓-day04】实时ETL-点击流ETL-定义拉宽后的点击流对象样例类

P178.03.【实时数仓-day04】实时ETL-点击流ETL-实时拉宽实现方案

P179.04.【实时数仓-day04】实时ETL-点击流ETL-点击流日志转换成对象

P180.05.【实时数仓-day04】实时ETL-点击流ETL-将点击流对象转换成拉宽后的点击流对象

P181.06.【实时数仓-day04】实时ETL-点击流ETL-将拉宽后的点击流对象写入到kafka集群

P182.07.【实时数仓-day04】实时ETL-点击流ETL-阶段总结

P183.08.【实时数仓-day04】实时ETL-订单ETL-订单实时ETL业务开发

P184.08.【实时数仓-day04】实时ETL-订单明细ETL-订单明细实时ETL需求分析

P185.09.【实时数仓-day04】实时ETL-订单明细ETL-订单明细样例类定义

P186.10.【实时数仓-day04】实时ETL-订单明细ETL-订单明细异步请求关联维度表数据

P187.11.【实时数仓-day04】实时ETL-订单明细ETL-异步IO的原理

P188.12.【实时数仓-day04】实时ETL-订单明细ETL-将订单明细数据写入到kafka集群

P189.13.【实时数仓-day04】实时ETL-订单明细ETL-订单明细实时ETL到hbase并测试

P190.14.【实时数仓-day04】实时ETL-商品数据ETL-商品表数据实时拉宽写入到kafka集群

P191.15.【实时数仓-day04】实时ETL-购物车数据ETL-购物车数据实时拉宽写入到kafka集群

P192.16.【实时数仓-day04】实时ETL-评论数据ETL-评论数据实时拉宽写入到kafka集群

P193.17.【实时数仓-day04】实时ETL-导入数据模拟生成器

P194.01.【实时数仓-day05】课程目标

P195.02.【实时数仓-day05】Phoenix的介绍

P196.03.【实时数仓-day05】Phoenix的安装部署

P197.04.【实时数仓-day05】Phoenix的入门案例

P198.05.【实时数仓-day05】Phoenix创建与Hbase的映射

P199.06.【实时数仓-day05】使用Phoenix构建二级索引加快查询效率

P200.07.【实时数仓-day05】Phoenix-使用订单明细创建Phoenix映射表并jdbc连接Phoenix

P201.08.【实时数仓-day05】Flink的程序优化

P202.09.【实时数仓-day05】Druid的介绍

P203.10.【实时数仓-day05】Druid的安装和部署

P204.11.【实时数仓-day05】Druid-Druid的入门案例

P205.12.【实时数仓-day05】Druid-Druid的摄取本地文件案例

P206.13.【实时数仓-day05】Druid-Druid的摄取HDFS文件案例

P207.14.【实时数仓-day05】Druid-Druid的摄取Kafka流式数据案例

P208.15.【实时数仓-day05】Druid-Druid的摄取配置文件格式说明

P209.16.【实时数仓-day05】Druid-Druid的数据查询

P210.01.【实时数仓-day06】课程目标

P211.02.【实时数仓-day06】Druid-jdbc操作Druid

P212.03.【实时数仓-day06】Druid-点击流日志指标分析

P213.04.【实时数仓-day06】Druid-订单数指标分析

P214.05.【实时数仓-day06】导入数据可视化项目模块

P215.06.【实时数仓-day06】Druid的架构和原理-索引服务介绍

P216.07.【实时数仓-day06】Druid的架构和原理-存储服务和查询服务节点介绍

P217.08.【实时数仓-day06】Druid的架构和原理-Druid数据存储

P218.09.【实时数仓-day06】superset的介绍

P219.10.【实时数仓-day06】superset的安装部署

P220.11.【实时数仓-day06】superset的入门案例

P221.12.【实时数仓-day06】Mysql订单分析案例

P222.13.【实时数仓-day06】superset的权限介绍

P223.14.【实时数仓-day06】superset的自定义角涩