【大数据-课程】高途-天翼云侯圣文-Day2:离线数仓搭建分解


一、内容介绍

昨日福利:大数据反杀熟

 

今日:数据看板

离线分析及DW数据仓库

明日:实时计算框架及全流程

 

一、数仓定义及演进史

1、概念

生活中解答

2、数据仓库的理解

 

 对比商品仓库

3、数仓分层内容

 (1)层数不要过多,会冗余

(2)好处

提高效率,便于复用

4、数仓的演进过程

(1)演进

 OLTP->OLAP维度建模,冗余

关系建模:高度结构化,易于扩展

(2)对比

OLTP善于交易

OLAP善于检索

5、数据仓库架构

实时计算,杀熟,比你更懂你

例如拼多多,游戏让你消费

二、具体了解

1、模型介绍

2、分层

书店、商场等都有分层

三、数仓建模流程介绍

1、数据调研

2、数仓规划

3、模型设计

4、模型开发

四、实战演示

 1、概述

2、工具介绍

 

阿里的quick BI快速构建大宽表,托拉拽

HQL写DW,不同层有冗余,但是查询数据更方便

Scala写flink

3、课程内容

阿里ACP职业认证