后厂理工学院严格遵守滴滴出行的数据安全标准，本培养计划中：订单、车辆分布和收入总数等数据均采用模拟数据集实现，此类功能点在大纲中用标注。

海量数据实时可视化项目

第一周：智慧出行底层数据架构剖析纵览全局

项目架构及解决方案论述

通过binlog方式实时梳理业务库高QPS压力

内置源码模块，细粒度监控Spark作业，失败及时邮件报警

覆盖Spark源码自定义数据源加载，从源头进行列剪枝

自定义维护Kafka的偏移量管理，实现exactlyonce

使用SpringBoot实现Java项目前后端rest接口的开发规范

业务库高并发解决方案介绍和架构实现

业务库MysqlBinlog的落地

使用Maxwell实时抓取binlog并解析到分布式消息队列

从零开始搭建前后端分离的智慧出行项目框架

使用mave项目聚合模块构建

第二周：智慧出行网约车服务体系建设的开发

订单实时流数据分析处理

使用Flume集成Kafka进行订单数据的实时回放

Flume订单数据回放断点续传场景分析及解决实战

SparkStreaming订单数据流实时统计分析实战

出行订单轨迹监控

Redis实时缓存订单轨迹，实现订单实时轨迹监控

使用高德地图实现出行订单历史轨迹回放控制

第三周：智慧出行之虚拟车站、出行迁途

墨卡托投影实现轨迹栅格化计算虚拟车站

墨卡托投影对轨迹数据进行栅格化设计和存储

使用phoenix秒查虚拟车站级可视化展示

智慧出行-出行迁途

离线统计海量订单数据中的出行地和目的地

H5Canvas出行迁途可视化展示

第四周：智慧出行之项目数据的接收和落地

基于binlog进行数据实时同步

Maxwell的语法讲解

Maxwell解析binlog到Kafka

代码实现HBase的负载均衡处理

HBase的痛点之热点问题

HBase的热点会造成什么问题

出现热点的原因剖析

解决热点问题

Kafka的offset自主管理实现Exactly-once语义实现

为什么自主维护offset

自主维护offset的实现

Kafka数据生命周期到期后找不到数据偏移量的解决方案

生产中Kafka会遇到的数据fetch不到的异常解决方案

解决生产中的Kafka生命周期问题

通过反射实体数据落地到HBase

解析Kafka中的json数据集

实例与数据集映射成集合

实时同步事务操作结果到HBase

第五周：基于源码进行任务的监控和调优

内置Spark离线与实时任务监控，实现细粒度任务的监控和异常报警

基于Metrics进行Spark应用程序的性能监控

SparkStreaming的限流、压背、冷启动

开启动态资源分配（从平台到代码）

SparkStreaming任务异常重试机制处理

第六周：智慧交通数据大屏之订单数据监控

数据大屏之订单数据统计

SparkSQL源码二次开发自定义数据源实现HBase表数据列剪枝分析计算

SparkSQL自定义数据源持久化城市车辆分布和各城市订单数据到HBase

SpringBoot+mybatis+jdbc+phoenix实现海量数据秒查询实战

Spark离线分析计算订单汇总表(总、月、周、日)、订单累计里程总数的数据计算和数据落地

第七周：智慧交通数据大屏之用户统计分析

数据大屏之用户总数和注册数

订单总数、注册总数、收入总数的计算和结果数据落地

订单总数、注册总数、收入总数Java中台与大数据后台统计实战

数据大屏之活跃用户留存分析

各城市当日新增用户数、当日活跃用户中台代码实现

平台注册用户总数、当日新增注册用户、本周内新增注册用户、当月新增注册用户代码实战

活跃用户和留存率的实现

第八周：智慧交通数据大屏之订单热力图

数据大屏之订单热力图

空间索引算法Uberh3分析与蜂窝六边形区域订单分析实

当日热区订单、当日新增热区订单的计算和落地

基于SparkSQL处理企业级报表

区域订单热力图可视化实战

hadoop nameNode秒级千次高并发源码改造项目

Kafka核心源码剖析与每秒GB级数据场景实例分析

SparkSQl重构自定义多数据源处理平台项目